bbs.cgi再開発プロジェクト6

さて。

>>284
ということは、6割ぐらいにはなるってかんじですか。
anime サーバで、しこんでみるです。

あ、まずエラーにならないことをqb6で確認するです。

まったー

読み込んだときに変換するのは激しく反対。
配布前になされるべきです

ふむ。

ということは、各サーバに置かれる時点でSJISもので全角半角もなされたものにすべきと。
つまり、丁稚側でやるべきってことかな。

系の入り口or最終段階で encode , decode が入るのは
当然ですが、途中段階で interpliter がはいるなんてシステムは
激しく反対。

中身は「ただのブツ」意味の無いものであるべきです

リストのおおもと EUC
↓
配布用マスター SJIS
↓
各サーバに配布
↓
そのまま利用

っていうふうにすれば、いいような。

んだんだ

そうすれば
改修するところは

1) マスター作り部
2) IsKoukoku内の処理

ということになり、今後の改修もここだけになるｯス

NG_wordに正規表現使ってないならEUCに変換なんてしないで
index()でいいんだけどな

あり得る手段としては、「DATをeuc-jpにする」というのもある香奈♪

それはさておき、、、
となると、かなり大変だよなぁ。。。

●Rock54側でやるべき事。
・配布用リストを変換しておく。
1. 全角カナ→全角カナ＋半角カナにしてor設定(ex.がんばる→(が|ガ|(ｶﾞ))(ん|ン|ﾝ)(ば|バ|(ﾊﾞ))(る|ル|ﾙ)
2. euc-jp→Shift_JISする際に、誤認をするものにエスケープを施す（「表」とか「ー」とか）
3. euc-jp→Shift_JISにする。

こんな感じかな？

＃banana238から追い出されそうな悪寒（苦笑）＠負荷増大

>>302
1. って、やらなくてもいいようになるといいなと。

「がんばる」は「がんばる」だけRockできれば、それでいいんじゃないかなと。
で、「ガンバル」もRockしたければ、単にもう1行入れればいいんではと。

>>302
と、書いてみたものの、、、
→1. 全角カナ→全角カナ＋半角カナにしてor設定(ex.がんばる→(が|ガ|(ｶﾞ))(ん|ン|ﾝ)(ば|バ|(ﾊﾞ))(る|ル|ﾙ)
こんなことしてたら、ますます負荷が「お互いに（Rock54基地でも各鯖でも）」掛かるよなぁ。。。

やっぱりいっそのこと、リストには半角英数記号以外禁止にしちゃおうよ♪

2. と 3. は、それで問題ないとおもうです。

＃banana238から追い出されそうな悪寒（苦笑）＠負荷増大


この部部が理解できなかったり、
投稿毎に(bananaで 5万/day) 処理していることが
どうして出来ないのかがわからないのだ。

>>304
あ、かぶったですね。
全角と半角をそこまでやらなくても、正規表現パターンが減るだけで、
かなり負荷下がるような予感。

>>303
荒らす人は徹底的に荒らしたいらしいので、もっといろんな描き方をしてくるですです（苦笑）
がんばる
ガんばる
がンばる
：
：
が ん　ば 　る
：
（わはは）

URIとmailアドレスと思しきもの、電話番号と思しきものに限定しちゃって、無差別コピペは別管轄にしちゃうとかとか。

マルチバイト文字非対応でいいなら、それが一番楽そうですね

Rock54 はあらし撃退にも使えるけど
広告爆撃対策が本業かと、

>>308
まぁ、>>310 すね。
あとは、正規表現の高速なやつを入れてみるぐらいか。

いずれにせよ、なるはやで>>298にしたいなと思うです。

>>306
banana238さんではRock54以外にもBBXやBBR、別プロセスとなるf22baseや、headline、itadaki、statsが同居していますから、
多少不安があったりもしまして。
単純にbbs処理とは異質なものでもありますし。

>>310
本来の本業に専念した方が、問題を切り分けるのには適しているですよね。
荒らしさんには、専属の特殊部隊を結成してみるとか。

>>308
それはログで実証されていますか?
Rockに限らず「これこれこういう方法で回避できるから無駄だ」とやりもせずに
決めつける人大杉ですが実際に「これこれこういう方法」を使う人は意外と少ないものです。
そして「これこれこういう方法」を実際に使われてくると破綻します(例: 山田)

うーん
一所懸命考えたけど、やっぱりわからん

現在は 240万投稿 x 2700 回　変換しているですよね、
それを bbs.cgi 船進水時にやるとして
どれくらいになるかな、10万 x 2700 回くらい?
それを配布元でやれば、データが一日に100回更新されたとして
100 x 2700 回だけで済むようになると思うんだが

何が違うんだろう・・・

>>314
bbs.cgiが動いている鯖での変換「以外」の負荷の掛かり具合がよく判っていないので、
ただ単にbanana238でも大丈夫なのかな？と危惧しているところです。
（bbs.cgiが動いている鯖でのpsやtopコマンドの値は知りうることが出来ませんから）

ひとまず「案ずるより産むが易し」ってことで、変換作業をしているですですm(_ _)m

>>315
最終行に、同意っすね。
うむ、うむ。

# ちと、今日はおねむかも。
# ちょっと別のスレで別のじっけんしてくるです。

基地の方では、切り替える準備が出来ました。

>>278 を以下のようにスキーリさせることができるかと♪
#################################################################################################
#罠、罠、罠、罠、罠に
#入力：
#IsKoukoku(対象文字列[Shift_JIS],Rock54のファイル名)　現状は無し。sub で定義中。
#返り血ぶしゅー：
#OK ならば 空文字列(偽)
#NG ならば （規制文字列(真)[Shift_JIS], MD5値, フラグ）のリストへのリファレンス
sub IsKoukoku
{
my ($GB) = @_;
my $In_Strings = $GB->{FORM}->{'MESSAGE'}; # 長いので代入

# 読み込む。。。
# my @Rock_word = @FOX_Ro54; # メモリの無駄なので省略してみました。

# では NG ワードのチェック。
foreach my $NG_word_ref (@FOX_Ro54){
if (my $matched = eval{$In_Strings =~ m<$NG_word_ref->[0]>}) { return $NG_word_ref } # 合致したらリファレンスを返す。
# 不正 NG ワードがあったり引っかからなければスキップ
}
return '';
}

配布が始まりましたら、基地の方でもリスタートを掛けていきますです。
（多少のタイムラグは致し方ないですよね（苦笑）＠しばらくは文字コードの違いでスルーされる現象）

おっ

qb6 に早速入れてみます。

おぉ。

>>318
おまかせするです。わくわく。

if (my $matched = eval{$In_Strings =~ m<$NG_word_ref->[0]>}) { return $NG_word_ref } # 合致したらリファレンスを返す。

　ここで 500 error になるっす

おー。

>>318
あ、、、
丁稚どんがそのままなので、全鯖に配布されちゃうです（汗）

ので、qb6用の丁稚どんも用意しましょうか？

いやいや
まず動くかどうかでして、

つまり　正しく動くかどうかじゃなくて
動くかどうかの確認をしたいと、 @qb6

>>320 の行をコメントアウトすると動く(書き込める)です

おー

アローがデリミタと被っているのでは…

>>320
if (my $matched = eval{$In_Strings =~ m<$NG_word_ref->[0]>}) { return $NG_word_ref } # 合致したらリファレンスを返す。
を、以下の２行に。。。m(_ _)m深謝
my $NG_word = $NG_word_ref->[0]; # リファレンスから取り出し。
if (my $matched = eval{$In_Strings =~ m<$NG_word>}) { return $NG_word_ref } # 合致したらリファレンスを返す。

>>324
そのままですと、全部の鯖にいる丁稚どんを呼び出してしまいますので（汗）
ひとまず基地からはqb6の丁稚どんだけを呼び出すようにしますですです。

>>327
うごいたー @qb6

全サーバに配布していいですか?

>>328
→ひとまず基地からはqb6の丁稚どんだけを呼び出すようにしますですです。
スタンバイ出来ました。

んじゃ　配布しまーす

ひとまずqb6「だけ」配布完了した模様です。＠新ファイル

指示にしたがいますー

まだ全サーバ配布はやってません

ちょと様子見しています。
船が自爆しないからかな？

qb5.2ch.net<>200 OK<>Sat, 04 Jun 2005 17:34:18 GMT<>236589<>
qb6.2ch.net<>200 OK<>Sat, 04 Jun 2005 17:59:09 GMT<>236544<>

リストは行き渡っています。。。

rockテストやってきて吸い込まれるのは確認しましたがエラーメッセーが出ないですね。

どんな時にどんなメッセージが出るんでしたっけ?

>>336
花が咲くとき以外は、エラー出ないはず。

>>338
× エラー
○ エラーメッセージ

>>337
通常 ただ吸い込まれる
いっぱつもの さくらが咲いてますよ

普通の書き込みがずっと吸収されてる…

あと三発で「Rockは人生だ」でしたっけ?

了解しますた。
さくらが咲くｕｒｌはわからないのでそっちの検証は無理ですけど無事に稼働しているよう
です。
あとはコストの削減具合の観察ですね。

BBX チェック（２ちゃんねるで広告爆撃したホストなどが、登録されています。）

La ROCA es la vida.(-_-)

;; ANSWER SECTION (1 record)
227.33.105.220.bbx.2ch.net.2048INTXT"shutouted by BBX: 220.105.33.227"

ひっかかりました（照）

あれれ
普通の書き込みも吸い込まれてる（滝汗

>>341
今は、それコメントアウトされてたような。

>>345
ほんとだ、吸い込まれる仕様ですね

肝心の負荷は?

>>347
配布が終わったら、animeサーバあたりの様子と、
qb6 でのプロファイリングを再度やってみるです。

もしかして、qb6ではIsKoukokuを呼び出しているところが他のとはちょと違うのかな？
・さくらか咲かない。
・BBRが返ってこない。
という症状が現れています。

確認してみますー

スルーするかどうかの違いはありますが
他には制御に違いはないようです

>>351
了解ですー

とりあえずやっちゃてみます？＠全鯖配布

りょうかいですー

配布しますー

あっ anime が　IsKoukoku するーになってる

配布しなおしますー

animeサーバの船を爆破しました。

なんか、うそみたいに軽いかも。
一桁数値が低くなった、、、。

PID USERNAME PRI NICE SIZE RES STATE C TIME WCPU CPU COMMAND
22033 ch2anime 96 0 10508K 9796K select 3 0:01 1.03% 0.83% speedy_back
22031 ch2anime 96 0 10740K 9992K select 0 0:01 0.48% 0.39% speedy_back

な、なんだ。
もう1回。

animeサーバ、IsKoukokuが有効になったやつが入ったのを確認しました。
確認中。

ではでは、全鯖開始ONにしますですー＠リスト

いいかんじみたい。

時間帯を比較しないとわからないけど、
やはり、一桁負荷が低くなったようです。

コード変換って、すごく重いのね。

>>358
OKです。観察を継続。

animeサーバ、SJISバージョンに切り替わったようです。

んでは、qb6でプロファイリングしてみるです。
メインのほうではなく、もとの1行目をさわるです。とお知らせ。

わーい。

%dprofpp tmon.out
Total Elapsed Time = 0.773049 Seconds
User+System Time = 0.242963 Seconds
Exclusive Times
%Time ExclSec CumulS #Calls sec/call Csec/c Name
12.7 0.031 0.045 11 0.0028 0.0041 Net::DNS::Resolver::Base::BEGIN
9.47 0.023 0.107 1 0.0234 0.1069 main::bbs_entryXXX
9.47 0.023 0.030 10 0.0023 0.0030 LWP::UserAgent::BEGIN
9.47 0.023 0.041 1 0.0233 0.0411 main::bbs_main
6.59 0.016 0.128 19 0.0008 0.0067 main::BEGIN
6.59 0.016 0.015 1 0.0156 0.0154 LWP::Protocol::implementor
3.29 0.008 0.008 49 0.0002 0.0002 Exporter::import
3.29 0.008 0.008 6 0.0013 0.0013 Exporter::heavy_export
3.29 0.008 0.008 1 0.0078 0.0078 main::initFOX
3.29 0.008 0.008 1 0.0078 0.0078 main::MakeWorkFile
3.29 0.008 0.008 1 0.0078 0.0078 vars::BEGIN
3.29 0.008 0.008 4 0.0019 0.0019 HTTP::Response::BEGIN
3.29 0.008 0.060 6 0.0013 0.0101 Net::DNS::Resolver::BEGIN
3.29 0.008 0.007 6 0.0013 0.0012 CGI::BEGIN
3.29 0.008 0.008 1 0.0078 0.0077 BSDPAN::Override::import

で、>>362 は元に戻しました。

>>26 と比較すると、効果は明白ですね。
コストが 1/10 以下になったんではないかと。

>26と>363の簡単な比較データ（何故か円換算）

>26のコスト　14330円
>363のコスト　118円


※ここまで下がれば大成功ですね。

1/10と言っても1が0.1になったというよりは10が1になったような感じだけど

最初、計測したときにIsKoukokuスルーされてるんじゃないかと、心配になりました。
でも、そんなことはないみたいです。

ちょっと、ヤバ目の不具合発見
rockに引っかかった時に本来ならばrockワード以外は書けるはずなのに全く書けなく
なってます。
（引っかかった以降全て吸い込まれて書けない）
ケーブルでこれ出ちゃうと該当回線が書けなくなって巻き添えが大量に出てしまいます。
（既に引っかかってるところも出てます。）

なんか、変かも。
こんなにひっかかるわけないし。

http://mumumu.mu/mrtg/mrtg-rrd.cgi/bbqbbx/

>369
多分、>368で巻き添えが大量に出ているかも
改善するまでｑｂ６以外は元に戻した方がいいかも

# では NG ワードのチェック。
foreach my $NG_word_ref (@FOX_Ro54)
{
my $NG_word = $NG_word_ref->[0]; # リファレンスから取り出し。
if (my $matched = eval{$In_Strings =~ m<$NG_word>}) { return $NG
_word_ref } # 合致したらリファレンスを返す。
# 不正 NG ワードがあったり引っかからなければスキップ
}
return '';

ここが、いまいちな予感。

あ、なっとく。。。

わーい

まずはヨロ個簿絵

>>372
どうすればよい?

ちとみてきます

>>372
どうすればよい?

で、直ったら、
BBXの登録アドレスを1回クリーンアップしないと、いけなそうっすね。

そのへんは、ぼちぼちと。

うん　書けない。。。
★使うっす

http://qb5.2ch.net/test/read.cgi/sec2chd/1117705579/
ここでかなりの人が報告してますねぇ・・・・

僕も引っ掛かってましたが。

んじゃ
まず　スルー版は配布しまーす

直し方待ちで。

なんか、本文内にNGワードがなくてもNGワードがあったことにされているみたい。

# NG ワードも変換。ついでに NG ワード、MD5値、フラグの 3 要素だけにしてリファレンスにしてして。
@Rock_word = map { [ (split /<>/)[5,6,7] ] } map { &jcode::euc($_, 'euc', 'z') } @Rock_word;
この部分が抜けていました、、、（汗）

でもってこの部分は出航の時だけで桶のはずなので、、、

# Rock54リストを読みこむ
open Rock54_List, "ファイルの場所";
@FOX_Ro54 = map { [ (split /<>/)[5,6,7] ] } <Rock54_List>;
close Rock54_List;

のように入れてもらえればー

スルー版配布完　10min まつ

qb6 だけ on にします

>>382
おじさんの間違いを防ぐために、もう1度サブルーチン全体をばさっと貼りましょー。

qb6 を on 版にした。

open(ADFILE,"内緒");
@FOX_Ro54 = <ADFILE>;
close(ADFILE);

現在の読み込み部

open(ADFILE,"内緒");
#@FOX_Ro54 = <ADFILE>;
@FOX_Ro54 = map { [ (split /<>/)[5,6,7] ] } <ADFILE>;
close(ADFILE);

にしてみた @qb6

>>382 >>387
…ということは、これで OK なのかしら。

>>386
open(ADFILE,"内緒");
@FOX_Ro54 = map { [ (split /<>/)[5,6,7] ] } <ADFILE>; # ここで変換
close(ADFILE);

ですー

あー、このあたりもスキーリさせれば良かったのか、、、orz...

>>387-388
ですですー

さっき、ｑｂ６でテストしましたけどまだ吸い込まれてます。

>>390
ということは、

・いったん BBX の IP アドレスリストをクリアする
・このバージョンを配布する
・ようすをみる

でいいのかな。

　　　　　　　　　　　　　　　　　　落着いて待ってます…

　　　　　　　　　＝≡＝　∧＿∧
　　　　　　　 　　／　　　（・∀・　）
　　　　　　　　〆 　 ┌　 |　　　　| .∈≡∋
　　　　　　　　　|| 　γ ⌒ヽヽコノ　　 ||
　　　　　　　　　||　.｜　　　|:::|∪〓　 ||
　　　　　　　 .／|＼人 ＿.ノノ _||_.　／|＼

>>392
> ・いったん BBX の IP アドレスリストをクリアする

を、やってきます。

>>392
はい。そうなるですm(_ _)m

てｓｔ

いっぷくしつつ10分まつとか

なんとなくまんこ

直りました。　お疲れ様

クリアできたはず。< BBX

で、
> ・このバージョンを配布する

お願いします。＞FOXさん

>>391 が気になるのじゃがいも

また書けなくなりそうのでキャップ使うか


>402
クリアした状態でもう一度テストしてきます。
（わざとrockされてからの通常書き込み）

>402
rockした後で正常に書き込みは出来ましたけど一発サクラになってます。
（ＩＰ変えた後なのにrockワード書いただけで吸い込まれた）

テストして報告してるのが漏れしかいないので更にテスター募集
運用情報（金）で改善版動いているのでよろしくお願いします。

配布しますか、

みんながテスター

>>405
ん？
またいつぞやのように「未承諾広告は氏ね」とかけばええのか？

DNS側は準備OKのはず。>>406

配布したです。

募集したらテストしてもらっているようです。


※テスターの人へ
　不具合報告等はこちらまで

現在、glist / klist とも、初期化した状態です。＞未承諾広告さん、ALL

qb6　ちゃんと動いてる悪寒。
テストですぅ
http://qb6.2ch.net/test/read.cgi/operate2/1104421903/144-

さくら、非さくら、BBR共に正常に取れていますですです。
（吸い込み動作も確認取れました。）

BBX チェック（２ちゃんねるで広告爆撃したホストなどが、登録されています。）

La ROCA es la vida.(-_-)

;; ANSWER SECTION (1 record)
48.33.105.220.bbx.2ch.net.2048INTXT"shutouted by BBX: 220.105.33.48"

---

Monazilla/1.00 MAKA/1.0b

DNS側、正常に見えます。
異常なパケットの増加等、観測されていません。

DB登録部分も正常。

大変です

お腹ぐるぐるしています
旅にでます

>>413
# ./main/bbxdump.pl -kC | grep 220.105.33.48
220.105.33.48 Sat Jun 4 13:03:16 2005

で、今 220.105.33.48 を bbxdel しておきました。

>>415
お、お、お大事にです（汗）

>>416
NG ワード履歴。

履歴。[総数 5]
トラップ日時 IPアドレス フラグ サブスクライバ 鯖名/板/
2005/06/05/(日) 05:03:16 220.105.33.48 Normal none http://qb6.2ch.net/operate2/
2005/06/05/(日) 05:02:53 220.105.33.48 Normal none http://qb6.2ch.net/operate2/
2005/06/05/(日) 05:02:44 220.105.33.48 Normal none http://qb6.2ch.net/operate2/
2005/06/05/(日) 05:02:34 220.105.33.48 Normal none http://qb6.2ch.net/operate2/
2005/06/05/(日) 05:00:48 220.105.33.48 Normal none http://qb6.2ch.net/operate2/

桶みたいですよね♪

>>418
よさげですね。

しばらく観察するです。

>>415
お帰りをお待ちしております。

上手いこと動いてる悪寒。qb6
IP繋ぎなおしても動作正常に見えました。

---

Monazilla/1.00Hotzonu/2.0

>>420
# ./main/bbxdump.pl -kC | grep 219.98.185.135
219.98.185.135 Sat Jun 4 13:10:03 2005

これも、これから消しておきます。

ok?

>>421 done.

>>422
大丈夫っぽいです。

わーい

で、Rock54で登録されたIPアドレスのリストをいったんクリアしたので、
一時的に広告貼られるかもですが、
業者さんが自ら貼ろうとしていくことにより、
時間を追って、正常に戻っていくかと。

暫し観測ってところでしょうか。
何だかモヤモヤしていたのがすっきりとした感じです。
みなさんありがとうございましたですですm(_ _)m深謝

何だか、次の目標みたいなのが見え隠れしてきたような♪

落ち着いたら、再度 bbs.cgi をプロファイリングしてみるです。@ qb6

順調に(普通のペースで) klist が増えていっているようなので、
問題なさげですね。

Rock54システム側は、どんなかんじかしら。＞未承諾広告さん

これでようやく一段落かな
作業してくれた人、乙でした〜〜〜


※もし直せる人が寝た状態だったら恐ろしいことになってた悪寒
　（報告によると公式ｐ２はおろか携帯も巻き添えが及んでいたらしいです。）

>>429
おおむね順調です。
細かいところの修正点などは仮眠を取ってからにしようかと（苦笑）

了解です。>>431

で、今のままだと統計見るのに影響があるので、
今日のはずかしい記録(wを、これから消しておくです。＞未承諾さん

http://mumumu.mu/mrtg/mrtg-rrd.cgi/bbqbbx/bbr.html

>>430
デリファレンス出来ない状態でしたので、
eval{$In_Strings =~ m<>}
となっていて何もかも捕獲される状態になっていましたから、、、（汗）

さっきのは、ちゃんと通ってなかったっぽいです。
こんどのは、それっぽいです。

確実に、コストは下がってるですね。

%dprofpp tmon.out
Total Elapsed Time = 0.599639 Seconds
User+System Time = 0.302764 Seconds
Exclusive Times
%Time ExclSec CumulS #Calls sec/call Csec/c Name
12.8 0.039 0.039 1 0.0391 0.0391 main::initFOX
10.2 0.031 0.031 1 0.0312 0.0312 main::IsKoukoku
10.2 0.031 0.125 1 0.0312 0.1251 main::bbs_entryXXX
7.60 0.023 0.128 19 0.0012 0.0067 main::BEGIN
5.28 0.016 0.023 10 0.0016 0.0023 LWP::UserAgent::BEGIN
4.95 0.015 0.059 1 0.0155 0.0592 main::bbs_main
4.95 0.015 0.037 11 0.0014 0.0034 Net::DNS::Resolver::Base::BEGIN
2.64 0.008 0.008 1 0.0078 0.0078 Carp::shortmess
2.64 0.008 0.008 5 0.0016 0.0016 DynaLoader::dl_load_file
2.64 0.008 0.008 49 0.0002 0.0002 Exporter::import
2.64 0.008 0.008 8 0.0010 0.0010 Net::HTTP::Methods::my_readline
2.64 0.008 0.008 4 0.0020 0.0019 Net::DNS::Header::new
2.64 0.008 0.008 3 0.0026 0.0026 HTTP::Message::content
2.64 0.008 0.008 1 0.0078 0.0077 Fh::BEGIN
2.64 0.008 0.008 4 0.0019 0.0019 HTTP::Response::BEGIN

>>434
>>26 と比較すると、目視で 1/4 ぐらいにはなったのかな。
かなり、いいかんじだと思われ。

で、
@FOX_Ro54 = <ADFILE> ;

を、

@FOX_Ro54 = map { [ (split /<>/)[5,6,7] ] } <ADFILE>;

にした分、initFOX のコストが少し上がったと。
でも、全体のコストは下がったと、そんなかんじか。

…でも、initFOX は上のほうにもあるように、船が出港する時しか通らないから、
全体としては、大幅にコスト下がってるですね。

1回目で 1/4 ということは(>>434-435)、
常駐型なら、ほんとに 1/10 にはなっている気がするです。

というわけで、関係した方々、おつでした。

これで、某サーバのスレ保持数を 700 でキープできるといいなと。
(ちょっと、500にするのは負けっぽいなと)