【規制】Perl PHP C出来るやつちょっと来い【解除】中篇

VIPで保守とかきんもーっ☆

code-RealityのBF2イベントでの
みずきは最高だった

あ、まだあった…
昨日からなんとなく思索してるが…
…少しでも乗る気があったら、やっぱ酉とか付けた方がいいんかな

>>103
解決案を考えるだけで鳥つけるってのはおかしいだろｗ

●アリでもTATESUGI規制、のんびり規制に引っかかるようにすればいいと思う

>>104
●を利用するやつがいなくなる。それに今の状態でVIP成り立ってるからそんなことしなくてもいい

2ch っていう世界にそんなに棲みたいなら、態度で示せとかいう感じだろ
どうせ非力だが、束になって態度で示そうぜ
問題を分割して、みんなでできることを少しずつやるこった

只働き上等。それで、2ch に棲む。棲み続ける。笑わば笑え。

おいすー＾＾　ヒント：この速さならツンデレ俺も新参VIPPERだお (´･ω･｀)
てゆーか馴れ合いたい携帯厨ですがなにか文句でも？と書いてみるテストｗｗｗｗｗｗ
今北産業orzなんだけどこのスレタカスクリニックがひろがりんぐｗｗｗうえっｗｗｗうぇｗｗ(　^ω^)
ブーンだけあったかいナリ詳しくテラワロスｗｗｗうはｗｗおkｗｗｗ
ちょｗｗｗｗｗおまｗｗｗｗｗそれなんて全力で釣られるのがVIPクオリティな件？ｗｗｗ
sageない古参厨UZEEEEEEEEEEからおっぱいうｐ汁ｗｗｗｗｗｗｗｗｗ
突撃先で「VIPからキマスタｗｗｗｗｗｗｗ」と書きこんだ俺ガイルｗｗｗｗｗｗｗ

>>107
VIPPERのイメージ落としてやる気をそがせる発言？ｗ

とりあえず前提としてこれ
●の書き込みに関する価値はおまけみたいなもので、無くしても問題はない

そんでもって俺が思うことは
書き込みに関する●の特権を亡くせば
立つスレの数があらかじめ予想できるから
現状より規制を緩和することが出来ると思う。

のんびり規制の●スルーを無くして貰おうか

特権を無くすよりそっちの方がはやいし

そしたら、今までどうでも良かった奴らのやる気もでるかもね

あ、確かにｗ

●の話はスレ違い

うっしゃ今からVIPのためにC言語の勉強はじめるわ

よーしうちはFORTRAN今から勉強するわ！

全く話しがわからんから保守(´･ω･｀)

めざす最終形は、どんな感じ? 現状の回復? それとも?

>>117
半年前ぐらいの状態、だったと思う

スレ番号あんだろ
あの先頭2桁をディレクトリ名にしちまって、00-99のディレクトリに、先頭2文字以下の番号のファイル作っちまえば
ディレクトリの中に有るファイルの数だけは少なくなるよな、それで満足してろ

さっさとVIPなんて消滅すればいいのに＾＾

よくわからんが、そういうことは、ある程度やってるとかとも書いてあんだよー
ただ移したらしまいなんやったら、↓こんなんでいけることになる
Perl からも、system() したらいいだけだし

// 再掲
char* translate_dat_path(const char* in,char* out){
なんたらかんたら。4096 文字以上になりそうなら、偽dat のパスへ。
return out;
}

#define XLATE_DATPATH_INLINE(x) translate_dat_path((x), __alloca(4096))

int main(int argc,char** argv){
if(!strcmp(argv[1],"/pathcvt")){
puts(XLATE_DATPATH_INLINE(argv[2]));
return 0;
}
うんちゃらどーたらもとからあったり
return 0;
}

datの保存とかじゃなくて
datのインデックス作ってるところで、１．５Mぐらいのファイルを
一日に７０００回近く圧縮解凍を行わないといけないところが落ちてると思うんだけど
そこを変えるって事じゃないのかな？

前スレに誰か貼ってくれてた参考レス、とりあえずWiki に放り込んでおいた

http://www6.atwiki.jp/fix2ch/pages/29.html

ほんで、おまけ。

while(<>){
print "***" if(/名前.+投稿日/);
print " " if(/^>/);
print;
}

ちと仕事逝ってくる

>>122 サンクス あとで見直してみる

ちょい情報集めるか、ソース非公開ってのは当然だがこういう場合は辛いな

>>125
漏れとか、情報を掻き集める能力ヘボいんよ
得意なら頼むわorz 役に立ちそうなもんひらってきてー

>>122 で、ちょっと文脈がわかったかもしれん
超大きなカンチガイしてたかもしれん

全然進んでないやん

subject.txt…これがでかい、作り直すのが大変
→今はコレが動的に作成されてる最新ですよ、後はこれとこれ連結して読んでね
で、動的に操作するのは最新の1ファイル(1000行以下)、固定的に保持しちゃう奴は5000行のファイルx複数個
とかにすりゃ、7000回来ても何度も操作すんのは1000行以下だからマシじゃね？
ロックとか面倒そうだが、ディレクトリのファイル名(Hash?)分化と同じ程度の考えですまんが

VIPがなくなったらここのゴキブリどもが一斉に2ch中に溢れ出すぞ
















と言ってUNIX板脅してくれば？

>>129
無くならないと何度言えば・・・

>>128

やっぱ、そこを中心に課題を読むんやな…やっとわかりかけたかもしれん
課題文的に言い直すと、こんな感じか

ここに、1秒に1つスレが立つ2ch 互換板がある
15秒毎に板の圧縮を行い、すべて過去ログシステムに収納すること
ただし、インデックスとして、index.html, subject.txt を適宜生成すること
すでにインデックス項目は、13000件を超えている

それだから、1から作れるとか、互換板でも試作できるとかいう話になるわけか

きわめて初歩的な観点なんだが、index の参照って、多いんか?
それが少ないなら、on demand で生成するように考えたくなるが…

・追加する際にはワーク的な扱いのファイル(1000行以下)に追加/圧縮？
・ワーク的なファイルが1000行を超えると、別のファイル(5000行以下)に連結/新規作成(5000行に拘りも理由も無い)
・読み出しは、ワーク的な奴と連結した別ファイルを結合して出す(読み出しでPerlなりPhpなりCなりで繋いで渡してくれ)
・固定的なファイルはファイル名やインデックスファイルによる管理、固定ファイル名撃ちのエラートラップが楽じゃね？
って感じで読んでくれ >>128 ニポンゴむつかしねシャチョサン

ローカルに互換板立てて動かしてみるかのう、PHPと.netと簡単なC程度なんでなぁ
現在のシステムがどう動いて、どこで外部参照用の情報出してとか、一切理解してねーんだよ俺ｗｗｗ

んでも規制解除されたら他板の突撃は減ると思うよ。
突発突撃スレに人が集まりにくくなるだろうし。

PARTスレは変わらないと思うけど
今より保守が大変になるだろうし
目立たなくなって気にならなくなるんじゃないかな。PARTスレが嫌いなわけじゃないけどね。

Partスレは出来ちまったもんは仕方ないんだし、消費がそれ程早いようにも
思えない(dat落ちか1000まで使い切る)から、今回の問題の原因じゃないよう
な気がしないでもない

また犯罪予告！！
http://live14.2ch.net/test/read.cgi/liveplus/1127613076/

どちらかと言えばPARTスレのほうがシステムに優しい

index がどのくらいの頻度で利用されているか
index を、plain text 以外の方法でインタフェースできるか
それとも、やっぱりplain text で勝負することに絞るのか

どうなんやろ

subject.txt
過去ログ情報？中身全部「過去ログにー」になってるけど
過去ログ情報ならマジで分化して連結して表示するようにすりゃいいだけだと思うんだが
動的な部分はメモリディスクで頑張ってるの？

問題を、現状における、板圧縮毎のindex 生成の重さに絞ると仮定して。
index をファイルで置くのは、内部インタフェースとして固定と仮定して。

1秒に1スレ立つということは、たとえば、過去ログのリストをブラウザから見ている間に
次々にスレが立ってしまうっていうことになる だから、on disk index がrealtime に
sync していることは、実はあまり重要ではないんかもしれん

index compiler を置いて、30秒おきにindex を生成するとかじゃだめかｗ
index compiler に、index よこせっていうシグナルを送ってもいいし、
index compiler からパイプでindex を取ってきてもいいし

…そんな甘くないかなぁ…

datのスレ番号をキーにしてディレクトリを細分化する案の掘り下げ。

�@細分化したディレクトリ単位に、datのタイムスタンプをチェックして
　新しくdatが追加された時だけindex.html, subject.txtを作る。

�A細分化したディレクトリ単位のindex.html, subject.txtを　連　結　し　て
　板全体のindex.html, subject.txtを作る。

現行システムでは毎回index.html, subject.txtを作り直すせいで
処理が重すぎて問題になっているなら、�@で処理対象を減らせるし、
それほど重くはない�Aで現行システムとの互換性もとりやすくなる。

こうするとだな、�@を軽くするのが主眼になるが、ディレクトリ細分化はいままで話されていたような
datのスレ番号の「下n桁」をキーにするのではなく、（例：1127558513.dat→85/13/1127558513.dat）
datのスレ番号の「上n桁」をキーにするのが正解だよな？（例：1127558513.dat→1127558/1127558513.dat）

上でも下でもいいが、ネーミングルールによりそうな気がする

>>142
単なるインクリメントだな…前n桁だな

板圧縮プロセスが、待避した.dat のリスト(形式は中間状態)を吐く 排他制御は適宜
index compiler はプロセス常駐していて、30秒おきにsleep から目覚め、
中間ファイルを引き受け、index を生成する
ただし、何かの要請があって、sync の必要があったら、シグナルを受けて実施する
単にquery したいだけなら、index compiler に問い合わせることもできるようにする

なんて言えばいいかな…

近代日本を支えたのは工業の発展によるものだが、
物価の上昇により工業の発展にはコストが大きくなりすぎ
さらなる発展を伴うには知的財産の向上しかない。
しかし、現在の部長クラスの人は時代の変化を見極めていることが稀であり、
未だにハードへ依存しすぎている。
これを解決するためには是非ここで財産を作って欲しい
http://ex11.2ch.net/test/read.cgi/news4vip/1127558513/

ごばくしたｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗ

index compiler がexit せずに常にメモリに居れば、増分を受け取ってindex を生成するのは、
そんなにコストがかかんなくていいじゃないか、…という。…甘いかなぁ…

独り言はチラシの裏にでも書いてろ、と

2chで言ってもな･･･>>148

は？

独り言はチラシの裏にでも書いてろ >>150

は？

チラシの裏　（perlさー、なにスカラー変数って・・・・わかんないっつーね・・・）

同人誌はエロ本の裏にでも書いてろ >>152

http://yuukiremix.s33.xrea.com/chirashi/

随分と素敵なチラシの裏ですね

誰も、「そんなこといってるんちがうよ」とか、ツッコんでくれないのが、甘くないなーorz

問題点の把握にいまひとつ自信がないまま
とりあえず、テスト環境(続々.dat が発生するのをシミュレートする)を書くために下調べ中

VIPはココを強化すればいいじゃん
http://irc.2ch.net/

http://x-web.pobox.ne.jp/fcgi/fcgi_index.html

僕が最初にPerlを勉強したページ♪

というかスレを立てすぎるのを止めればいいだろ
VIPが糞化したのもくだらない馴れ合いが原因なんだから
パートスレは禁止、コテハン禁止にすればいい

>>159
http://yuukiremix.s33.xrea.com/chirashi/

ここは俺の日記帳

　　　　　　　　　　　　　　　　　　　　　　　　　comment (0) | trackback (0)

>>160
おいおい。
１スレに１０００しか書けないのにスレ立てやめたら、誰も書けなくなってしまうだろｗｗｗｗ

それより、いまの問題を解決しておかないと、将来は別の板でも同じ問題が顕在化するんじゃねーのｗｗｗ
VIPの次は狼かなあ

VIPPERがこぞって移住とかしない限りVIP以外では起こらないと思うけど

まとめサイト見て笑った。 
http://wiki.livedoor.jp/chin2shu3/d/%CC%B4%A4%AC%A4%D2%A4%ED%A4%AC%A4%EA%A4%F3%A4%B0 

今後のシナリオ： 
　　　　�@上記スレで技術者を集める 
　　　　�Aスクリプトを改造してもらう 
　　　　�B同時に運営に規制緩和をお願いする 
規制緩和後のベストシナリオ 
　　　　�@スレ立てバンバンできるようになる 
　　　　�A新スレ数増加、パートスレの保守が困難になる 
　　　　�B半年前くらいの状態まで復活 


運営もスレ住民も技術を持っている人間を利用しようとしてるだけｗ 
ほんと汚ないのな、人間ってｗ 

>>166
金貰ってる奴すら協力しない辺りが素晴らしい
素直に自作ソフトの方に力入れる気になるな

10 LET ch$="盛り上がってまいりました"
20 LET si=LEN(ch$)
30 FOR i=1 TO si
40 PRINT SUBSTR$(ch$,i,si);
50 PRINT SUBSTR$(ch$,1,i)
60 NEXT i
70 END

ぬずかしい

gzip(LZ77符号)ってブロックごとに分かれてたっけ？　ブロックで独立してるならindex生成も
必要なところだけ圧縮すればすむとおもう。

ID:RFs1Wl0D0の発言記録

>>119,125,128,132,133,135,139,142,143,149,151,167


こいつ面白杉ｗｗｗｗ

何とか実現できそうかも。

deflateフォーマット
http://www.futomi.com/lecture/japanese/rfc1951.html#2

正直ＶＩＰ閉鎖してほしいなぁ
それの方が面白そう

スレ立て規制解除して
鯖が壊れるまで遊べばいいんじゃね？

それもVIPっぽくていい。

>>1だけ読んでカキコ

データベース・サーバは使えないの？

実際閉鎖する間際にならなきゃ８割は参加しないな

part*** スレは1000いったら自動的に連番でスレ立てるようにしよう

たまあに名前欄に入力されたトリップキーがそのまま表示されてしまうシステムを作ろう！

連続でスレ立てしてる奴はどうせ被ってるんだから・・・
ある閾値（例：100レス/h）を越えないスレッドは自動削除→スレ立てた香具師は規制
とかどうだろうか？

>>179
もし唐突に面白いクソスレがぽんぽん思い浮かんだ時はどうするんだ

>>180
我慢

それじゃ規制がある現状と変わらなくない？
とりあえず目標はバンバン立てられるようにすることだから

やあ（´･ω･｀）
きてしまったんだね
このスレは罠なんだ
君には数日中にペニスが勃起時３cmになる呪術をかけた
君はおそらくオナニーも満足にできなくなるだろう
玉を残して男根はほとんど見えなくなってしまうだろうね

でも君は運がいい
特別に開放される方法を教えてあげよう
http://bubble4.2ch.net/test/read.cgi/motetai/1127573807/l50
このスレに

水商売ＤＱＮ女キモス

と書き込むんだ。
それでは健闘を祈るよ。

>>182
一応バンバン建てられるからいいんじゃないかと。でもVIPPERがこのことを知ったらとりあえず百まで「ほしゅ」で埋めるルールを作る希ガス

問題は過去ログが多すぎて捌ききれないっていうことだから、そっちを改良しないと立て放題にならないんだよね

過去ログの選別や切り捨てとか出来ない？

スレタイにpartが入ってるスレはパートスレってことで
そのスレのまとめサイトにログかってに保管してくださいってことで
2chに過去ログ残さない






と、partの代わりの文字を使われる

>>186
>>187

>>74にあるように2ch的に過去ログは残さないとだめみたいです

掲示板閉鎖してやろーぜ
http://www.shakalabbits.com/m/bbs_next/bbs_top.html
VIPからの応援求む

とりあえず過去ログは全部保存しておかなきゃいけなくて、削除は一切出来ない

現状のシステムだと、規制前くらいの勢いでスレが立つとDatを置いておくフォルダがパンクしちゃうらしい
数字でいうとその頃1日6000以上のスレが立ってフォルダには60000以上のDatが詰め込まれて
規制とかの機能が完全に死んでいたみたい

実際その頃規制されてもVIPには書きこめたしね

んでーひとまずフォルダにたまりすぎないように振り分けられるシステムを作ろうとしてるのかな？
現実的に1日数万のスレが立っても裁ききれるような過去ログシステムを、他との互換性を捨てずに作るのが目標みたい

現状はスレが立ちにくい。でも●持ちは立てられる。
このことは●の宣伝になってるし、
「規制解除してほしければ、自分らで策を考えろ」ってのは
タダで上等なシステムが手に入ればラッキーって感じだろう
>166みたいなこと

過去ログ全部DBに突っ込もうよ
それで完成

過去レスとwikiを読んで現状大体把握
つまり、スレが落ちるたびに新しくdatファイルが生成されて
そのたびにsubject.txtを作り直さないといけないと
んで、その作り直し作業にとんでもないリソース食われてしまうと

今でてる問題解決のアイディアとしては
datファイルを置くフォルダを細分化して、subject.txtのサイズ自体を小さくする

作業の進行具合としては、過去ログ管理してるプログラムの
ソースファイルが提供されないので、とりあえずアイディアを出し合う

ということでおｋ？

うんそんな感じ 小さいできることはたくさんあるっぽい

で、漏れこれも勘違いしてたんだが、.dat の分割配置は、現状一定範囲で行われてる
なんかの都合で、flat に戻してるんかとｵﾓﾀが、そうではないらしい
で、1126x で、13000dat くらい
http://ex11.2ch.net/news4vip/kako/

いろいろ、具体案に近いものも出てきてる 漏れは >>144 >>147 思い付いて、
これは他の案と組み合わせできるハナシだし、デモコード書こうかなと思ってる

>>194
なる。じゃあ現在の案を一応まとめると

・datシステムのディレクトリ構成を改変
　>>141あたりのアイディアを採用。現状でもある程度行われている？

・過去ログを一定数でtar圧縮
　>>60、>>68参考。圧縮処理で余計重くなる？

・subject.txtを常駐プロセスのindex compilerが生成
　>>144、>>147参考。効果は未知数

ということで。
漏れUNIX系のシステムコールプログラム書けないから、とりあえずまとめだけ
テスト環境なら使ってないノートPCぐらいしか・・・・orz

tar って圧縮か
一つにまとめるだけやないん

>>196
そうだった・・・・・orz

圧縮しないなら、ディレクトリ細分化のほうが効率がいいような気がする
圧縮しなければならないほどディスク空きが差し迫っているわけでは無いし…

鯖がおなかいっぱいってわけでは、ないそうです やっぱり、処理能力と効率か

運営さんは、もっと爆発的にスレが立っても もちこたえるスケーラビリティを達成してみやがってください、とまで
おっしゃったかどうか存じませんが、まあ、スレ数におけるスケーラビリティは考慮した方がいいようです

実装に近いこと言う香具師は、tar 化も視野に入れた関数の切り分けで そして漏れも

…と偉そうなことを言ってｽﾏｿ

>>46
吹いた

VIPだけの問題
他言無用

>>201
いや、俺オカルト板だが他言させてもらうｗ

保守！

あげ

いまデモコード書いてる
糞コードやが、せめてもの誠意や

で保守

>>205
とりあえず応援
とりあえず保守

頑張れ

期待保守

>>205
ガンバレー

おっと、subject.txt はソート済みリストなの忘れてたorz で、保守

＞195

＞subject.txtを常駐プロセスのindex compilerが生成
そんな問題もあったんだ・・・

これこそmysqlで管理して、インデックス作らせれば良いんじゃないの？
数万件のデータとかそれこそＳＱＬが得意でしょ。

自前で管理してたらそらメモリオーバーフローとか出そうだもんねぇ。

>>211
それは問題と言うか、subject.txtの生成処理を減らす手法では

mysqlかpostgresかわからんけど、「SQLが駄目な理由」なり
「subject.txt生成処理を自前で作らなきゃならない理由」なりが無いなら
SQLでもいいのでは？

でも今ID:k6zveWjo0氏が一生懸命このあたりを作ってるのでそれを待ちましょう

ここでいう、index とは、subject.txt やindex.html (特に前者)といった、
plain text のindex です こいつを参照している、後継のモジュールがあるらしくて

VIP のためだけにmysql を入れてくれるかどうかはあやしげなので、まずはナシでデモしてみるです
軌道に乗れば、DB をかましたほうが効率はよさそうですね

メモリのポカを防ぐべく、まずはあえてPerl で書いてみるですよ

いたた被った

>>213
今より高性能なものが出来上がれば互換性はなくてもいいって言ってた気がするし
DBぐらい入れてくれるんじゃないかなぁ…

入れてもらえるかもですが、必要性を提示しないといけないかもです…

とりあえず、今書いてみてるのは、板圧縮モジュールから、dat 落ちログを受け取ると仮定して、
定期的に読み出して、index (subject.txt) を書き込み、そのままindex をhash に保持するスクリプト

そいつで、どんくらいキツいかみてみるですよ…

あげ

虫取り中…index compiler が動作中1秒以上待たされるじゃねーかよ…おかしいな。そんな状況。

…とりあえず、やる気あるみたいやなと、思ってもらえるように。

あの、ｽｰﾊﾟｰﾊｶｰぢゃないんで、進捗遅いです だらだら生暖かく見守ってくだちい。ｗ

動作テストなら手伝うよ
cygwinで動く？駄目なら４〜５年前のノートPCに環境構築ｗ

どうもです いずれ、cygwin は要ると思うですーｗ
今は、ActivePerl だけでテストできてる

今、例の既存のsubject.txt をテストデータに使って、
15000件のスレが、0-300ms 毎にガンガン dat 落ちしたらっていう設定で
(想像するだけでｶﾞｸｶﾞｸ((；ﾟДﾟ))ﾌﾞﾙﾌﾞﾙ )、
subject.txt が脱落なく生成できるかやらせてる

…っていうか眠い…パトラッシュの影が…zzz

Cygwinで動くなら漏れも動作テスト手伝えるお
一応、インストールしたてのFedora Core 4もあるけどｗ

つ眠眠打破

動作実験祭り！？

UNIX環境がMacしかないおれは・・・

今回は、動作実験の お祭りはまだまだ先ですorz
まずは、VIP 側から、わからないなりに考えて作りましたっていうものを提出して、やる気をみてもらう段階

今7000 スレ落ちてる… ←シミュレーション。不謹慎ｗ
…脱落なし。溜めて処理する、脱落のないようなアルゴリズムのはずなんですけどね。

あくまで、スレが落ちたことを、板圧縮モジュールが教えてくれることを、仮定しているわけですが。
さらに、過去スレの削除の通知も、受けないといけないかもですね…

あと、問題なのは…この小汚いソースを、どうそれらしく仕上げるかだったり…orz

テスト環境に必要なプログラムって何があるかな？

とりあえず暇だからスレッドの書き込みログファイルを
ランダムに生成するプログラムを作ろうかと思ってる

そのためには書き込みログの仕様を知りたいんだがｗ

眠い…とりあえずうｐ

>>224
乙！そして本当にGJ！

どうでもいいけど、ソースが汚いって言われるとどうしても腹が立つのは職業病？

…wiki にうｐした

乙です

ああ、神だ、神がここに光臨された・・・・・・

パトラッシューッ！！

ええと、今回こしらえたのは、
「板圧縮エンジンからの通知を受けて、indexer が常駐すれば、もう少し
indexing を軽くできるのではないかという問題提起をデモするスクリプト」
です だーれも、現状分析が合ってるとも ちごてるともツッコんでくれんかったから、orz
的外れかもしれんけど、とにかく書く気はあるんやで、という。

実際には、途中のディレクトリのsubject.txt も生成したり、
index(\d*).html も生成したりしてるんですけど、まあそこは気合で書き足せるはず

perl idxc.pl svr

で、indexer が立ち上がる悪寒 その後で、別窓で、

perl idxc.pl cli < 適当にでかそうなsubject.txt

で、indexer に倉庫送りを送信するﾃｽﾂ

覗いてもらえるとわかるが、indexer に送信する部分は関数にしてある

いろいろ、せないかんことは山ほどあるけど、とにかく書いた。書いたんだ。

今更やけど、明日以降、運営雑談/VIP 運営の過去ログ追っていくことにするですよ…
読んでからっていうのが本来先やけど、おだんごは熱いうちに食えいうしなｗｗｗ

…もーねる 眠眠打破はパトラッシュに阻止されてｓ…zzzzzz

おつかれさまです　突っ込む程度の知識もなくて申し訳ない･･･

乙！！
今Cygwinダウソ中です
インスコ終わったらテストして見ます
つか、300msでdat落ち、subject.txt生成って・・・・
PC落ちそうｗｗ

ちょｗｗｗ前のソース消すなｗｗｗ

と思ったら前の奴の改造盤じゃんｗｗｗ
インデントないからみにきぃｗｗｗ

textにして添付してよ。
#ref(添付ファイル)で参照できるからさ。

といって思い出したがなんのためにページ名に日付つけたのかと。

ソースがみつからなす
wikiのどこ？

>>236 >>238
「idxc.pl」が本物だお、下のほうにある

Apache2+ActivePerlで動作確認。おーちゃんとさばけてる
でもやっぱり上位4桁より下位4桁(2+2桁)のほうがいいと思う

今からsubject.txt生成機でも作る、193�dに抜かされるのがオチとは知ってても

393 名前： ○○社 ◆XhYsRJwDD2 投稿日： 2005/09/25(日) 22:08:01 ID:+Fc3lqHA0
>>388
釣り風情満喫してるDQNvipper乙ぅｗ
さっさと働けよゴミ無職ｗ

509 名前： 慶医首席２００６ ◆keioboy/U6 投稿日： 2005/09/25(日) 23:23:41 ID:QHNSNLAmO
以後荒らし・コンプ対策問題としてこの問題のコピペ推奨

ニートどもの学力検査

凸六角形があり、互いに反対側にある２辺はどれも、次の条件をみたしている。

　その２辺の中点の間の距離は、その２辺の長さの和の、ちょうど√３／２倍である。

このとき、この六角形の内角の大きさがすべて等しいことを示せ。
　ただし、凸六角形ＡＢＣＤＥＦにおいて、「互いに反対側にある２辺」とは次の３組のことである――――ＡＢとＤＥの組、ＢＣとＥＦの組、ＣＤとＦＡの組。


507 名前： 大学への名無しさん 投稿日： 2005/09/25(日) 23:22:55 ID:Ml27sNpMO
神良コテ◯◯社に口応えなんて1000年はぇぇよニートども

( ﾟ,_･･ﾟ)ﾌﾞｯﾌﾞｯﾌﾞｯ


http://etc4.2ch.net/test/read.cgi/kouri/1127567633/l50

まちごてヘンなとこに貼ってもうた…ｽﾏｿ
トップにうｐりなおした

>>239 とりあいず今回は、既存の構成にあわせたのなもしｗ フォロー&評価�dｸｽ

進行状況はどうですか？

やっとcygwinインスコ出来たよ・・・・
>>232の動作チェックしてきます

>>239
いやいや、俺は書き込みログ生成を作るから、出来ればdat落ち処理機を作ってｗｗ

使えるのはCぐらいなのでPerl無理なんですが、おｋ？

Apache2+ActivePerlはメインPCに･･･

>>242
おつかりー

>>244
すまんが、dat落ち処理機ってどういうの作ればいいのか説明ｷﾎﾞﾝﾇ
実際のサーバがどれぐらいいじれるかは知らないが、Ｃでもおｋじゃないかな？

いや、俺もよくﾜｶﾝﾈwww

たぶん、あるディレクトリに「書き込みログファイル」があって、
その「書き込みログファイル」の数が一定数に達したら「dat落ち処理機」が動き出す
で、「dat落ち処理機」から通知を受けた「indexer」がsubject.txtを生成
それとは別に「dat落ち処理機」はスレの圧縮＆datファイル生成を行う

・・・・って感じでいいのかなぁ？
確かに処理速度優先ならCでも十分なんだろうか
教えてエロい人、もといID:xvAKKfXS0ﾀﾝ

会話が意味わからなくてかっこいいなｗｗｗ
Evaでも発進しそうだｗｗｗ

>>247
なんとなく理解した、作ってみるお (＾ω＾ )

>>249
がんばっておｗｗっうぇうぇｗｗｗ

で、相変わらず「書き込みログファイル」の仕様がわからないから
プログラム書けない俺がいますよｗｗ

ギコナビのdatファイルってそのまま2chのdatと同じ形式なのかなぁ
書き込みログじゃないけど、とりあえずこれを参考に作ってみるわ

因数分解でもやってみるわ。

zzzzz.....zzzzz.....むにゃむにゃ…そりゃ桜餅の葉っぱは喰うに決まっｔ…zzzzz.....


(だいたいそんな感じかなと思っているですが、板圧縮エンジンはさわらしてくれないかもですね…もう頭回転してましぇん…orz)

Janeは同じって聴いたけどギコナビはつかったことないからわからんちん

一部切り出して張ってもいいけど、ものすごく横に長くてウザそうな予感

wikiに張ってもｲｲ?

>>251
因数分解を極めてVIPの救ってくれｗｗｗ

>>253
Janeとギコナビはdat自体は同じだったはず
かちゅーしゃは少し違うらしい

「VIPの」じゃなかった「VIPを」だったorz

datの形式の互換性はここに載ってる
http://www.geocities.jp/browser_2ch/

インクルードが複数ある時点で未知の領域の俺ｗｗｗｗ

>>256
�dクス
あと、http://age.s22.xrea.com/talk2ch/ を見てて思ったんだけど
このdatファイルがそのまま「書き込みログファイル」なのね
dat落ちって言うからてっきり「書き込みログファイル」がdat落ちして
datファイルが出来るものだと思っていた・・・・orz

じゃあこのファイル仕様で仮想板プログラム書きます

>>258
んだ
でも落ちたとき具体的にどんな処理してるかはよくわからん

まあガンガってくれと無責任なことを言ってみる

てかDAT落ち処理なんかcronで定期的に呼び出せばいいんじゃないの？

今北頑張れ

>232
まずはお疲れ様です。

>193
>それは問題と言うか、subject.txtの生成処理を減らす手法では
え？1万3千の『ソート』にperlが耐えられなくて、perlが重くなるなり、perlが落ちるなりするという問題という認識だった・・・
外れてたらスマソ。

>>260
2ch風なシステムを１から作るスレとなりました

>>262
生成はまとめて1回じゃなくてdat落ちがある度に適時じゃないの？
で、その度にsubject.txtにdatのindexを追記しつつ
ソートしなおさにゃならないから処理が重くなると
使ってるのはperlか何か知らないけど
だからお互いの認識は大筋で一致してる希ガス

で、SQLにソートさせるとしたら
dat落ち発生→sqlに新しいdatのindex追記→sqlがindexをソート→subject.txt吐き出し
って感じかな？

よくわかってないので間違ってたらｽﾏｿ

>>264
そこってDAT落ちのたびに同期して生成することにこだわる必要ないよね？
非同期にcronで呼べばいいと思うんだが・・・

ソートに関しては・・・・subjectテキストも10分割くらいして
そこに追記してソートすればソートのコストは１/10以下になるよね？

読み出しのコストがちょっとあがるけど。
これも定期的にcronかなんかで分割されてるsubject.txtを結合すりゃいいんじゃね？

>264
なるほど、dat落ちの頻度が高いと問題ということか・・・

そんなら、毎回ソートするんじゃなくて、
もともとのsubject.txtはソートずみなんだから、

ソートしなおすんじゃなくて、subject.txtに部分挿入するイメージなら高速化されるんじゃない？

アルゴリズム：

forで1行づつ読み込む
現在の行が挿入データより小さければ、subject2.txtに現在の行を吐き出す
大きければ、挿入するデータを挿入後、現在のデータをsubject2.txtに吐き出してforeachを抜ける
foreachを抜けたら残った行を吐き出す
終わったらsubject2.txtをsubject.txtに上書き

っていうアルゴリズムなら、挿入するだけで、ソートしないから、ソートのコストが要らなくなるはず。
もともとのデータがソート済みなんだから、再度ソートする必要が無いって事でどう？

明日でもよければ、このアルゴリズムのサンプルぐらい書くけど？今日は寝る

>>265
dat落ちのたびにソートし直すよりはまとめてソートしたほうが効率いいね
非同期で良いのかどうかは運営次第だと思うけどｗ
subject.txtの分割は今まで出てきたディレクトリ細分化と同様に処理させるってとこかな？

>>266
ソート済みのデータにデータを追加するだけならO(n)かな？
よろしくお願いします

仮想板プログラムとしては、
・仮想板にn人の住人がいると仮定
・n人の住人が30〜120secに一度いずれかのスレにレス
・n/10人の住人が1minに一度スレを立てる

って感じで考えています。パラメータは要調整。
スレが立つたびにdatファイルが生成されて、レスされるたびにdatファイルに追記
これを実際にsubject.txtのソート効率確認やらdat落ち処理の効率確認やらの
テスト環境に使ってもらえるとｱﾘｶﾞﾀｽ

というわけで今日は落ちますﾉｼ

こっそりカウンターのPvと書き込み数から逆算してバランスをとるわけか。

subject.txtの生成にコストがかかるんだったら、
subject.txtを毎回ファイルから読み出すんじゃなくて、
オンメモリで処理すればいいんじゃねぇの？
排他とかしねぇとだめだけど、ディスクに書き出すコストに比べれば圧倒的に軽くないか？

いっそ、生きてるスレは全部オンメモリにすれば速くならないかね？
生きてるスレは500強くらいで、各スレッドに1000レス、各レスが1KB必要だとしても
500MBのメモリありゃあ生きてるスレは管理できるぞ。
dat落ちしたやつはディスクに落とすとして。

こんなことapacheのperlモジュールでできるかしらねぇけど。

>>267
面白そう。もつかれ。

適当板圧縮(dat落ち)処理機、もうちょっとで完成するぽ。
ログを読みたいけど眠くて読めないんでもう寝ますｗ

と、今どんな仕組かぐらいは書いておきま。ツッコミよろしくおねがいしまつ。

1. subject.txtからスレッド数を判定。
2. 溜まってたら圧縮発動。
3. 圧縮対象のスレッドが見つかるたびに、idcx.plにぶち込み、過去ログ倉庫にdatを動かす。
4. 非圧縮対象のスレッドが見つかるたびにnew_subject.txtに追記。
5. 圧縮が終了したら、new_subject.txtをsubject.txtに名前を変える。

PHPできるけど呼んだ？

続々と梁山泊のようだ。

梁山泊ｗｗｗ

よくわからんが、PHPでフルスクラッチしてしまった方がリソース食わないんじゃないかな？
今はC？perl?

データ受→データ書きこみ蓄積→データ表示（性的）？
　　　　　　　　　↓
　　　　　　　　DATへ

>>267
分割されたディレクトリごとにワーク用のsubject.txtを作成しておいて
定期的に結合して本体のsubject.txtを作れば？と思ったんだけど。

subject.txtってソートしてるんだよね？
でっかいsubject,txtを作ってソートするくらいなら
上２〜４桁くらいで細分化されてるディレクトリごとのワークのsubject.txtを定期的に非同期に結合していった方が効率が全然よさそう。

運営次第だけども
リアルタイムにDATを処理しないといけない理由はなさそう。

ちょっと的外れだが、、、
VIP板を現実的な規模まで分割するってのはどうでしょう。

http://kitakore.blog23.fc2.com/blog-entry-31.html#more
バクアプはけーん。のっけときます

まー保守だ

プログラマーの皆さんをはじめ、主要人物の方々には鳥付けてほしいと
思うのは俺だけでしょうか

理由：このプロジェクトが成功したら神として崇めたいから

氏ね氏ね氏ね氏ね氏ね氏ね氏ね氏ね氏ね氏ね
氏ね氏ね氏ね氏ね氏ね氏ね氏ね氏ね氏ね氏ね
氏ね氏ね氏ね氏ね氏ね氏ね氏ね氏ね氏ね氏ね
氏ね氏ね氏ね氏ね氏ね氏ね氏ね氏ね氏ね氏ね
氏ね氏ね氏ね氏ね氏ね氏ね氏ね氏ね氏ね氏ね
氏ね氏ね氏ね氏ね氏ね氏ね氏ね氏ね氏ね氏ね
氏ね氏ね氏ね氏ね氏ね氏ね氏ね氏ね氏ね氏ね
氏ね氏ね氏ね氏ね氏ね氏ね氏ね氏ね氏ね氏ね
氏ね氏ね氏ね氏ね氏ね氏ね氏ね氏ね氏ね氏ね
氏ね氏ね氏ね氏ね氏ね氏ね氏ね氏ね氏ね氏ね
氏ね氏ね氏ね氏ね氏ね氏ね氏ね氏ね氏ね氏ね
氏ね氏ね氏ね氏ね氏ね氏ね氏ね氏ね氏ね氏ね
氏ね氏ね氏ね氏ね氏ね氏ね氏ね氏ね氏ね氏ね
氏ね氏ね氏ね氏ね氏ね氏ね氏ね氏ね氏ね氏ね
氏ね氏ね氏ね氏ね氏ね氏ね氏ね氏ね氏ね氏ね

●も規制にかかるようにすればいい。規制解除とか論外。
規制すれば糞スレも立てられない、PARTスレも立てられないでいいことずくめだろ。
規制強化を訴えるべきであって、規制緩和とか言語道断なわけよ。
そのくらい理解しとけ。

おはようございますです が、まだ、頭まわってない…シンプルに保守

おつかれさまですのほしゅ

保守かれさまです

　　　　 .,/i/i
　　　　ミ　、|
　　　　./＼_!　　頑張りますよ････
　　　,.ｲ., /
　＜;と＿)_)

携帯からほしゅ

えーと、まだあんまり頭まわってﾅｻｽ…

ちょっとだけ。ええと、言語は今のところ、なんでもいいです その気になれば、porting したらいいんだと思うですよ
C/C++/Perl/PHP なら、FreeBSD ですっと動くでしょう 他にももう少し制限を受けますが、まだ始まったばかりですし
その他でも、「言語違いだけどよ、ちょっと書いてみせてやるぜ」というのは、ありがたいことです

Perl の今回のデモコードで、ソートにかかる時間コストは、意外にも少なく、15000 件くらいのsort&write で
500ms かかっていない印象があります (他プロセスがおとなしかったいうこともあるのですが)
ここはsorted list を使えばカッコイイとこですが、ま、unsorted hash でも、なんとかならんことはないみたいです

>>287 おはようございます

つうか、そもそもファイルシステムの問題なんだから
BSD系やめてLinuxにしといたほうが、選択肢増えると思うのだが。
鯖のOS替えるのはだめなの？

>>290
1万ファイルのリストに時間がかかるのはファイルシステムの問題じゃない気がするwwww
まーカーネルパラメータとかファイルシステム変えることで改善はできるだろうけど
抜本的な対策にはならなそう。

ネタとしてはおｋｗｗｗ

今回の問題が、VIP のみに発生している関係で、VIP のためだけにOS 替えは頼みにくそーですｗ

どうせなら、お日様(r

SQLにするのは厳しいんじゃないかな。
一日6600スレって言ってるから、3ヶ月で66万件とかでちゃうと
DBが激重くなる予感。

ちがｗｗｗ

×どうせなら → ○せっかくなら

>>292
俺はHP-UXがいいwwww

>>291
あれ？そうなの。リスト化の問題なの？
フォルダがあぼーんとか書いてあったから。
まとめサイトしか見てないもので。すまん。。
祭に乗り遅れた感じか

>>292
そうですか。了解っす。

漏れも当初は、ディレクトリ問題だけなのかと思ったですよ…
でもそれは、着々と、讃岐氏も実装に近い解決案を出して下さってて。
いや確か、一定範囲で過去ログとか、分けて入ってるはずよなあと思いつつ。

誰もツッコんでくれんのでようわからんのですが、板圧縮 - dat 落ちと整理の過程が総合的に重くなりすぎて、
維持できなくなった、ディレクトリからglob するのにかかる時間(←これ憶測)や、スケーラビリティを考慮すると、
ディレクトリ問題も再考に値するかも、という読み方らしいのです

まだこれから、過去ログ読みに逝くのですが…

>>293 ちょｗｗｗｗｗ月に20万スレｗｗｗｗｗｗｗ

>>296
カーネルパラメータとかnewfsしたときのオプションとかは公開してもらえ無そうだから
OS側からは手も足もでないってのもある。。。。

議論するのはおｋ そこからぽこっと珍案が出るかもしらんｗ

うーんと、wiki のadmin さんいてますかー
ダウソページを新設してうｐり直すので、うpったやついっぺんあぼーんして頂けんでしょうか
2個所にありますです

で、ついでに保守

情報ありがと。
自分はもう出なければならないので、また今度

参考にならないかも知れないが、以前こういう事があったとさ。

とある仕事で「予算少ないけど2chみたいな掲示板サイトたのむ」
と言われたときは、鯖２台でmysqlをレプリケーションし
１台のマスターサーバーは書き込みとか用。
もう一台はスレーブサーバーで参照用としてやった。
あと、HEAP型のテーブルも多用した。
開発はphp。
鯖にはzendOptimizerいれてあるので
重くなったらZendEncorder買ってコンパイルしてねと言うことに。

ここまで書き込みが多いのは想定してないし、予算が無いので超手抜き
あと、ファイルシステムもチューンしましたとか言ってfstabにnoatimeセットしただけ。
でも、納品後１ヶ月サイトを見て、もっと手を抜けば良かったと後悔しましたとさwww

フォルダアポーンの件は、多段で分割＋mod_rewrite路線
で行く意見が多かったけど、現状仕様がわからなすぎってで保留。だれかが実験環境つくってたような・・・

そんでもって、ほかにもsubject.txt作るのがおもすぎるんじゃーってのがあって、
対応してるつもりだったのだが・・・
１万件のsubject.txt読み込んで、別途１万件の追加用ダミー読み込んで
ダミーをソートして、subject.txtとマージしてsubject2.txtを書き出す
っていう一連の処理を、Ｃ＋＋で書いたんだが・・・
セレ1.3G？だったか、そんぐらいのマシンで0.2秒しかかかんないんだけど・・・
出力結果も確認したので処理はあってる・・・
１秒かからん処理が重いとはいわんわなぁ・・・
subject.txtを作るのが重いっていってるのはソートじゃなくて、
落とす部分が重いってことかーーー？
だれか、問題点を整理・・・キボンヌ。

鳥あとで、ソースも夜ぐらいには・・・うぷしたい。夜までバイバイ仕事しないと・・・

そう、今回のPerl のデモコードでも、多分15000件既存 + 50件くらいmerge で、
300ms (体感)くらいしか多分かかってないんです こっちはもばぺ 真の問題点は何か

ま、本末転倒でもいいから、なにか目にみえる成果物をage ようということで、試作したからなんですが
試作したからこそ見えてくる行間もあるんだと自分に言い聞かせる。いそがばまわれ。ちとちがｗｗｗ


仕事の空き時間に覗こうと思ってるのに、全然過去ログ読み込みが すすまねーorz

つーか何がどうなってるのか分からん
誰かまとめてくり

age

とりあえず、VIP 運用情報の過去ログをいっこいっこ掻き集めてる そして保守

Perl暦1年半で1行掲示板と日記とチャットしか作ったことしかなくてサーバの知識全然ない工房の俺でも協力できる？

>>302
確かに。ボトルネックが分からない。

数万件のレコードをメモリにtreeで保持しといて逐一dat落ちするたびにinsertしてもほぼ0秒だし、
1Mbyte無いようなファイルを書き出すのも1秒かからないだろうし(HDDに負荷が掛かっていても)。

>>307
そのくらい自分で考えろ、他人に意見を聞かなきゃ行動できないやつなんて要らない。

わかった。
技術的な話はできないけど、
プログラムくらいならなんとかできそうだからやってみるよ。

せっかく保ｯ守保ｯ守しながら、VIP でやってんだし、またーりやろうやｗｗｗｗ

馴れ合いにはならないようにしてくれよ

ニュー速VIPを救え
http://wiki.livedoor.jp/news4vip4/d/
↑で問題点整理してボトルネック見つけてクリティカルに解決しませう！

みんな要点整理に積極的に参加してください！！

今してる事をマジでまとめてくれ、日本語で
何してるかさっぱり分からん

Wikiのどこを消せばいいんだ。

サンプル書いて思ったことはVIPの規制そのものは。
結局、1ディレクトリにファイルが多すぎることだけが問題っぽいね。

ただ、潜在的な問題もあるから、VIPの問題を直さずにおけばだれかが新システムつくってくれるだろうから、
便乗して、潜在的な問題もなおしてよ？ってことでFAっすかね。

もし、その路線なら、それでもいいけど
それこそ外部から見た仕様だけで、１から作り直すってことになるわけで、
VIPの問題とは切り離して考えなきゃいかんのだが・・・

VIPだけなおす・・・既存のコードはなるべくそのまま
新システムにする・・・根本からやりなおし

さて、ねらいはどっちの路線？

このスレの基地外どもがVIPPERを馬鹿にしてる。許せない。
VIPPERの力で潰してやろう！！
http://life7.2ch.net/test/read.cgi/mental/1127682607/

新システムでしょ。
それこそPentiumMMXの鯖でも快適に動くような軽いシステム。

過去ログちょっとまとめたお

ニュー速VIPを救え
http://wiki.livedoor.jp/news4vip4/d/

その「〜だお」ってのは本気なんですか

>>315 添付ファイルだけ ページはguest でもあぼーんできるですよ

あげげのAGE郎

今仕事の合間合間に、禿しく過去ログ漁ってる 今44くらい もうちょい溯るか
今件を予期するかのように、運営さんの発言を貼ってくれとる香具師がおる
整理してうｐする ちょとまて

で、ほしゅ

612事件の日のスレ大杉ｗｗｗ …orz

こりゃちょヘルプ煽らしてもらうわ

再厨563

791 名無し戦隊ナノレンジャー！ [sage] : 2005/09/26(月) 14:41:14
>>787
vipは氏ね。低脳はくるな

http://tmp5.2ch.net/test/read.cgi/mog2/1127655504/791

がんばってください

どなたかVIP 運用情報 64,65 持ってませんかー .dat 落ちでみられぬー

あります〜
ログのあるフォルダ探すからちょっと時間かかるよ

ごめん、誰かJaneのログのあるフォルダわからないっすか？

>>327
ttp://www.vipper.org/vip115130.zip.html

thx

あがってるみたいだけど一応
専ブラのLogフォルダの中にカテゴリ別、板別に分かれて入ってるよ
スレのurlの末尾の数字と同じ名前のDatがスレのDat

>>1を見たんだけど

「規制が効かなくなったから規制した」ってどういうこと？
規制するものが２つ以上あって、その一方が効かなくなったってことか？

(書き込み規制などの各種)規制が効かなくなったから(スレ立て)規制した

なんか、いちいち「ほしゅ」するの大変そうだから、別の板にスレ立てて議論したら？

早っｗｗｗ サンクス!!

ごにょごにょごにょ。

28 あたりからざざざっと通してみると、有益な情報が刻一刻と転写されてますね これまずみんなで読もう
ちとまてｗ いまちとやらしいこと考えてる

ええと、その .dat をmerge っと。

>>335
見る人が限られちゃうんだな

とりあえず、展開は成功したですよ…サンクス

>>334
ひろゆきにソース貰った？

>>302
サーバーで単一の処理に0.2秒かかったら重いと思う

>>334
把握した

讃岐はメールちゃんと再送信したのかね。

平行していろいろごちゃごちゃやっても、纏める人が居ないしこんがらがるだけだと思うよ。
優先順位を決めて順番に集中してやらないと。

>>340
そう、server が毎回0.2s かかったらイカンと思う
だから、毎回0.2s かかるような作業は、別プロセスに押し付けてしまえって思うわけだよ

うーん運用過去ログの作業データうｐしようとしたら、線が細すぎて頓挫するですよorz

Perl三年目の漏れが今北産業

さっきっから、VIP 運用情報の過去ログを根性で拾ってきた
wiki に、n4v_operinfo_cbpak_part1_v1.LZH ちゅうのをうｐっといた
探したらわかる 大きいの今うｐできんから、お試し版作ってみたですよ

で、今後プロジェクトに大事そうな、wiki に貼っておこうっていうレスを、集めちゃえと
でも、コピペで作るのって、正直('A`)ﾏﾝﾄﾞｸｾ

そこで、レス番の横見ると、□が付いてるだろ? こいつは見とけやっていうレスがあったら、
そいつに 'レ' つけちまうわけよ。無事1001 までチェックしたら、はじめんとこの
'display' ってやつを、ぽちっと、いくわけだ。そして、待つ。
漏れんとこみたいなポンコツPC なら、10秒は固まるね。慌てないで待ってくれ
そうすると、上の四角いとこに、ずららっと、タイトルと>> が固めたやつが、出てくる
そいつを、ここにカキコしてくれ こっちで適当に集計する ってか集計できる手はずになってる

たくさん役に立ちそうなレスがあるときは、これたぶん3行以上になるかもしれん
[ctrl]+[A] で、全部の行を、ばっちりコピペってくれー
それと、いろいろ事情があって、>>xxx-xxx みたいにまとめんとってくれ 頼む

家に辿り着いたら、Part 28-65 (いま66な)の過去ログうｐする

みんなで、状況のおさらい、しようぜ

>>346
乙

とりあえず保守

昼間携帯で書き込んでた者です。

ってか、よく状況把握ができてないんだけど、
問題が起こってるのはread.cgiなの？それとも単純にディレクトリにファイルが多いことが問題？

まだ予測の段階だけど、問題は複数あって
datインデックス作ってるところの圧縮＆非圧縮が間に合わないのと
dat入ってるところのディレクトリが膨れ上がりすぎ
の２つかな。

… >> 大杉って出ますね しまった
修正します…orz

改めて状況を確認したいんだけど
フォルダがあぼ〜ん -> 大量のファイル(dat)を突っ込みすぎてファイルシステムの限界を突破
その結果新しいファイルが作れないという認識で良いの？
それからフォルダがあぼ〜んする事と規制が出来なくなるのはどんな関係があるの？

VIP 運営の過去ログに、ヒントがあるようでした…漏れもまだ全部は通して読めてないのですが
そこで、押し付けですが、これを持ってきますた…

>>346 wiki のやつは問題がありますた(結果をここにカキコできない) すいませんスルーしてください…

vipper.org 借りますた パス=cppak これで、28-65 ひととおり
http://www.vipper.org/vip115197.lzh.html

これで大体最近のVIP 運営の過去ログは嘗められるです
よかったら、読みながらチェックつけて、重要レス一覧教えてください
行が長すぎるようでしたら、適当に改行していただいてかまいませんです… ↓こんなん
(注: ワンクリックで自動的に生成されます)
---
○●【ex11】VIP運用情報58●○(1122861779)<>1,34,241,242,243,247,249,288,440,
458,459,460,471,604,607,740,884,885,886,887
---
すでに短くなっているファイルは、漏れが既に、チェック付けて、重要レスだけ抜いたやつです
結果が揃い次第、通して読めるように、漏れががんがってwiki に上げていきます

本当は いいだしっぺの漏れが一人でやるべきなんですが、ちょっと時間が…orz
偉そうですみません

776 名前： ◆A/T2/75/82 [sage] 投稿日：2005/07/21(木) 00:14:55
>>757
何やっても LA さがらんです
見てもらえますか?

またログ置き場も破綻しているもよう
ファイルシステムもチェックしてもらえますか?

sAMBA24の仕組みもまた破綻しました。
ファイル消せないよう。。。

801 名前： ◆A/T2/75/82 [sage] 投稿日：2005/07/21(木) 00:26:54
おおっ　やっとLA下がった、

F22 がちゃんと動かない
　→　お掃除プログラムが一切動かない
　→　いろいろなログがたまり放題
　→　一つのフォルダに　数万のファイル。。。
　→　まぁたいへん

861 名前： ◆A/T2/75/82 [sage] 投稿日：2005/07/21(木) 00:51:38
>>822

LA はさがった
samba用のフォルダは消せた
ログ用のフォルダは rename して新しくまっさらなのを作った
F22 は相変わらず動かない　←　今ここみてる

>>349
後者の「単純にディレクトリにファイルが多いこと」が問題。
read.cgiは今回の問題に関係はなさげ。

>>352
>>291が参考になるぽ。
規制が効かなくなる事との相関は不明だけど、少なくとも管理サイドから見た
視点では関係があるらしい。

>>353
忙しくなくなったら協力するお （＾ω＾;）

やっぱりそういう事でディレクトリを細分化と言うことでいいんですね。
所で、ディレクトリ細分化の方式は決まったんでしょうか？
時間ごとに新しいディレクトリを作る、とか。

875 名前： ◆A/T2/75/82 [sage] 投稿日：2005/07/21(木) 00:56:50
全て　過去ログ捨てるか news4vip@ex11
んで　スレッドが立つスピードを 2,000/day 以下に
抑えないと駄目みたい。

893 名前： ◆A/T2/75/82 [sage] 投稿日：2005/07/21(木) 01:00:42
過去ログのインデックス作りに失敗して(くわしくみとらん)
お掃除、規制情報取得・・・　全部やられていないみたい。

つまり　vip は規制が効いていなかった !!


>>352
コピペでゴメンね、当時のFOXの発言
こんなかんじだったんだけど、これでなにかわかるかな？
わたしにはちっと難しくてわけわかめなんだけど･･･もうすこしログ漁ってみます

>>354,357
がきつねさんの発言です

>>356
詳しくは決まってないけど、
・下(上)4桁/〜.dat
・下(上)2桁/次の下(上)2桁/〜.dat
って案が有力。これならdat名からディレクトリも判別できるお

>>359
なるほど。ｻﾝｸｽです。

皆、>>342の発言が重要。

何度か聞いてるけど答えてくれないの

やあ(´･ω･`)
このｽﾚは罠なんだ
君には自分の性器にコンジロームができるという呪いをかけた
でも君は運がいい
特別に開放される方法を教えてあげよう
↓の板に
http://pksp.jp/manki-/
自意識過剰きんもー☆鏡みたぁ？
と書き込めば呪いは解ける。性器の無事を祈る。

>>357
�d　なるほどなんとなく大体つかめました。
漏れも過去ログ漁って来ます。

>>302
timeの結果あげてくれねぇか？多分user/sysもほとんどカスみたいな時間だと思うんだが。

gettimeofdayで計った・・・0.2秒は約だし、挿入が1万件、元1万件つーありえないデータ・・・

挿入データが１００件　subject.txtが1.3万件Overだと
CPU: Intel(R) Celeron(TM) CPU 1200MHz メモリー256M　つーヘッポコでも・・・
subject.txt読み取り　0.04秒
subject.txt書き込み 0.02秒
ソートとマージと挿入データ読み取り　0.01秒
くらいで、合計0.07秒くらい

んで、挿入データが1000件ぐらいまではほぼかわらず。10000件ぐらいから、メモリキャッシュから外れるのか
ほぼこの倍の値で 0.13秒くらい。
読み取りをメモリキャッシュにすれば0.03秒で終わる。そしてCPUとHDDの格差もあるから、さらに倍くらいはやいのでは？
gettimeofdayのtu_secってマイクロ秒だよねぇ・・・1000000.0で割ればいいんだよね・・・秒にするの
たぶん、プロセス起動の方がよほど重い・・・

>>366
200msecの処理だとコンテキストスイッチが何回か発生してるだろうから、
timeで計ってくれね？

ログ専用鯖作ってどんどんそいつに放り込ませるのはダメなのか

用意できない(たぶん)

>>369
それは鯖管の専門外ってこと？

>>368
鯖の問題じゃなくてフォルダの問題だろｗ

>367
ん？timeでどうやってはかるん？timeって秒だよね？
１０００回ぐらい回せばいいの？回し方は？

>>366
あと、subject.txtをramfsに置いてみたらどうかね？
とりあえず読み書きのコストは圧倒的にさがるんじゃね？

プロセス起動は一度やればどうせディスクキャッシュに残るから問題ないと思うけど、
どうせならプログラムもramfsに置いて動かしてみれば？

>>372
入れ違いになってた。

$ time (プログラム名+引数など)

で、

real 0mx.xxxs
user 0mx.xxxs
sys 0mx.xxxs

って結果がでる。実際どのくらいCPU時間をどこで使ってるかがわかるから、
IOバウンドかCPUバウンドかくらいはわかる。

>>371
だからフォルダとファイルの管理もその鯖にやらせるんだよ

>>372
あと、一応結果はmsec単位で出る。
linuxのタイマー粒度は超荒いから、これで十分だろ。
細かい精度が欲しかったらpentiumカウンタでも使ってくれ。

>>375
お金の問題で無理そうじゃない？
それがクリアできるなら面白いかもしれないけど、根本的な解決になるわけでもないし・・・

>374
real 0m0.002s
user 0m0.003s
sys 0m0.000s
あい

採用されないと思うよ
そう言ってVIP用にまた鯖買ってくれるなら最初からそれでやってるんじゃない？

まあそうだよな

>>378
ちょ、おまｗｗｗっうぇｗｗｗ
realが2msecかよ。1/100になってんな。
っつーかuserがrealより大きいのがおかしいんだが、
これってどういう環境でどう計測したんだ？>>302と同じ？

>>378
あとタイマー粒度がちょっと気になるんだが、カーネル2.6系だったりする？

すまん、そもそもOSはLinuxじゃなかったのか。
首吊って逝って来る。

>381
Yes というか、１回しか回してないことに問題が・・・
適当に作ったからね・・・バグかも。
こんなだったり
real 0m0.002s
user 0m0.002s
sys 0m0.001s
こんなだったり
real 0m0.002s
user 0m0.001s
sys 0m0.001s
>382
Yes Fedora core 4　のCDから入れた
まぁ、いずれにしろ、sort読み込みよりも、他の処理の方が重かろうということで・・・

今北産業

いま仮想板プログラムが完成度40%〜50%ぐらいです
一応、2chのcgiでレス書き込み＆スレ作成する部分を
このプログラムで肩代わりさせたいんですが、
たぶん機能抜けまくりんぐｗ

とりあえず1stVersionを今晩中にうｐ出来たらと思ってます
というわけでメシ行ってきます

改善すべきプログラムって何？bbs.cgi？

>>386
ちょｗｗｗｗそのおいしい番号とっといてそりゃないｗｗｗｗｗ
一見そういうことの様にみえて、今回そうじゃないっぽい

このスレ内だけでふいんき掴めるから、参加ﾖﾛ

漏れ、いいだしっぺでVIP 運用の整理やってるわ

>>387
おいしい番号ってのがわからんけど読んでみるお(；＾ω＾)

>>384
結果ｻﾝｸｽｺ。
多分そこらの数字がおかしいのは誤差かね。
msec以下は切り上げとか。

>Yes というか、１回しか回してないことに問題が・・・

>>302のほうは何回回した？単純に数字から見れば100回だと思うんだが。
ちょっと今の結果じゃ何もわかんねぇから、realが>>302と同様
200msecになるくらいループさせてみてくれねぇか？
timeの結果でrealとuser/sysに大きな違いがあれば、
>>366の結果通り、ディスクアクセスで数十msecかかってるはずだから、
ramfsにするだけで大分速度が上がると思う。

ごめそ、上のは測定ミス。ファイル名ちがた・・・orz
real 0m8.223s
user 0m7.174s
sys 0m1.037s
１００回まわした。単純ループなので、メモリは相当最適化されてるはず・・・なので意味無し・・・
１回だと・・・
real 0m0.090s
user 0m0.071s
sys 0m0.019s

>>390
ほとんどuserが時間食ってるってことはやっぱりソートにほとんど時間食ってるのかね。
やけにrealとuser+sysにほとんど違いがないのはやっぱりディスクキャッシュが残ってるからかね？
やっぱりソートをどうにかしないとだめなのかねぇ…。
何もできなくてｽﾏｿ。

いろいろアドバイスいただいておいてアレなんですが・・・
わざわざC++で書いて、考えた結果・・・
結局、この部分だけ最適化してもしょうがないんで、結論としてはソート＋管理を統合してＳＱＬじゃね？
という感想。スマソ

dat落ち処理機 (スレの数が一定数を超えたら、優先度の低いスレから過去ログへ送還) 仮完成したお （＾ω＾ ）
アルゴリズムは汚いけどソースは綺麗(と自分では思ってる)なんで、暇だったら眺めてやって下さい。

Wikiのdatpush.zipに入ってます。取説長いんで中のreadme.txtを見てください。
仮想板プログラムでﾊｧﾊｧできることを期待。193さん、頑張って下ちい。

見てみよう。

>>393
が、がんばるおｗｗ

あと2時間ぐらいで雛形が完成する、といいなぁ・・・・

漏れの独善的なコーディング癖に はからっていただいたようで…やさしいお(ﾉД`)

おまいら、コーヒーでも入れてこようか？

>>397
コーヒー牛乳で （＾ω＾；）

今はまだ大丈夫だけど、>>343の指摘のように
まとめ人か進捗管理表が必要になるだろうね。うーん、他力本願…。

filelockは経験上ちょとこあいかも。＠FreeBSDな鯖.2ch.net
SIG類もちょと怪しいんだよなぁ（泪）

あげげのあげたろう

大筋完成。いま虫取り中。core dump吐いたよ・・・・orz

subject.txtってスレ一覧更新するときに参照するもの？

更新のときだっけ？

dat参照ん時でない？

>>393
優先度の低いスレって聞いて思ったんだけどさ
VIPの即死判定ってどうなってるんだろうね。
意外にコスト高そうなことやってね？

即死判定【そくしはんてい】[名]（批判要望板）

数時間レスのないスレを強制的にdat落ちさせるプログラム。
対象は新スレで１週間以内にｎレス、又はｎ時間内にレスのない場合におこる。
ある程度レスのついたスレは即死判定から除外される。

subject.txt は、そのタイムスタンプやサイズすらも随時参照される存在なのです…ってヘンなこと言ってるかなあｗｗｗ

今はウォーミングアップの段階。プロジェクトが形を成していないことに焦るより、
あーでもないこーでもない言って盛り上げて、考えを膨らませて、整理していること自体が大事鴨ｗ

明日あたり、VIP 運用過去ログひととおりクリアできればいいなと自分に期待ｗｗｗ がんがるぞ

寝込む前に保守

ほ (´･ω･`)

新しいベンチ・・・サバ変えた
旧マシン　上のプログラム
real 0m0.091s
user 0m0.072s
sys 0m0.017s
レンサバ　上のプログラム
real 0m0.030s
user 0m0.020s
sys 0m0.010s
で、このレンサバでスレ立て擬似、SQLにたたき込むだけ何の規制もないphpをabでベンチ
いちおうpostはbbs.cgi互換にしたけどチェック無し（ｗ
ディレクトリ作成アリ　/3桁/3桁/1桁/10桁.dat　をtocuhするだけ
Concurrency Level: 50
Complete requests: 10000
Time per request: 44.114 [ms] (mean)　最悪（ディレクトリ作成時でも161ms）
同それを使ってsubject.txt作るだけ単純に最新1000件抽出
Complete requests: 10
Time per request: 40.378 [ms] (mean)
というわけで、mysqlでも問題ない速度ではあるがnative cよりかはhttp食ってる分だけ遅くはある。
まぁ、どこまで規制プログラム入れ込むかで結構かわってくるだろうけど・・・参考値まで
ま、ベンチはこんなもんかねぇ・・・

基準用に上のプログラムをwikiに上げときました。コメントぼしゅ。
sort.cc コンパイルはg++ -O2 sort.cc あとてけとうで全く何のループもしない版なので、
ループは各自好きなところに。for入れて

保守

ほす

ようやく仮想板プログラム「vita」完成・・・
メインループの終わらせ方で悩みましたが、結局select()使いました
wikiのトップページにうｐしておきます

機能としては、
・ｎ人の住人が仮想板にいると仮定
・住人は一定時間で板内のいずれかのスレに書き込み
・n人のうちm人はスレ立て職人
・スレ立て職人は一定時間で板内にスレを立てる
・全てのスレは「10桁の乱数+".dat"」というファイル形式で作られる
・板一覧のsubject.txtは作成しない

パラメータは実行時引数で変更できます。詳細は-hで
コンパイルはmath.hを使用しているので-lmオプションをつけてください
　$gcc -lm vita.cpp -o vita

まだ機能がかなり足りないので、徐々に追加します。
これ使って仮想板環境作って、各モジュールのテストに役立てていただけたら幸いです。

>>413
おつかるー。ちょっと動かしてみたけど面白いｗ
今からちょっと改変して、subject.txt排出させるようにして、
datpushと遊ばせて見るお （＾ω＾ ）

すげえ
ｿｰｽｷﾚｲｿｽ

>>414
おお、�dクスです
コードを改変したらOutVersion関数のあたりを書き換えてどんどんうｐしてください
機能的に欲しい所なんかの意見も募集中です
ツッコミも大歓迎

で、このプログラム、コンソールに何も表示されないから
気が付くと恐ろしいほどのdatファイルが出来てそうな・・・ｗｗｗ

増えるワカメみたいだな

>>417
増えるワカメちゃん使ったこと無いからワカンネｗ
ソースは普段はこの3倍ぐらいキレイっすよ
今回はやっつけでやったんで・・・・・
つか、作者の癖にvitaをフル稼働させてテストしてねーｗ

保守します難しそうだけど明日読もう･･･

適当にパラメータ変えて実験
$ time ./vita -c 10 -i 300 -r 45
Total thread=125, res=5098
real 13m4.903s
user 0m0.061s
sys 0m0.187s

datファイルの自動生成としては充分かな
と言うわけで寝ますﾉｼ

>>420
おつかりーそしておやすみー。

いやほんとお前ら偉すぎるよ。。。
これで本当に規制解除に至ったら、あなた方には一生頭が上がりません。

Selenium ver.0.5 勝手にまとめサイト
http://mk.zansu.com/selenium/index.htm

かっこよすぎるよ。
この件で動いてる人はコテをつけてくれたらいいのに

idxc.plに値を送りまくってて気づいたんだが、make_index_id関数内で
ある値を送るとindex_idがおかしくなるみたい。漏れだけ？
例えば、以下のdatファイルはおかしな数値にされる。

4871434385.dat -> -1
9086367945.dat -> -1
7901107810.dat -> -1
3139758701.dat -> -1155208595

以下のスクリプトで試せるぽ (ちなみにuse integerしても無駄だった)。

my $datid = "3139758701.dat";
$datid=~s/^(\d+).*$/$1/o;
printf ("datid = %d\n",$datid); #-1155208595

と言ってもこのあたりよくわからないんで、もし分かる人いたらお願い…
眠いお…そろそろ寝るお…

ソースで見ないで>>425の原因推測だけど、
たぶん値が符号付32bitの範囲　(-2^31)〜(2^31-1)　を越えてるからっしょ。

oは要らないかと。
sub make_index_id {
my ($datid) = $_[0] =~ /^(\d+)/;
return $datid
? $dir_split_is_double
? $datid / 100000
: $datid / 1000000
: undef;
}

グローバルなのは見た目で判るように大文字で始めるとかすると良いかと♪
our $DIR_split_is_double;
use は、行頭付近でやる方があとで混乱しないす（コンパイル時に読み込むから）

☆

指南ヽ(´ω｀)ﾉ ありまとー

use って、そのブロックで、その位置で発効するんだと思っていたですよ…勉強してきます
ちなみに、Perl は、コンパイルしてから実行することだけは、存じ上げておりますです ハイ

過去ログのおさらいに、ホイールマウスを使うべきだということにやっと気づいた
612 事件当時のログは…濃い。orz

で、保守

なんかにつこてくれー

my $datid='3139758701';
print "via print: $datid\n";
printf("via printf %%d: %d\n",$datid);
printf("via printf %%u: %u\n",$datid);

ちなみに、3139758701 == 0xBB24EA6D

過去ログと時間と格闘中 そっけなくてスマソ

$datid=0x100000000;

とか、

$datid=0x100000001;

でも、おもしろいお（＾ω＾；）

…反省は、していない。(ﾔｯﾊﾟﾘ)

みんな頑張れー！

頼んだぞー

応援してます

保守 38まで踏破…やっぱ濃いorz

テスト

まだ42…ほ

45 ほ

アクティブなスレのレスの書き込み管理もSQLでやるとして・・・
1000規制・・・
テーブルロックして並列で書き込むと平均50msオーダー
ロックしないで並列で書き込むと平均10msオーダー
ロックしないで書き込んで、書き出し時にlimit 1000でいいかと思うけどあってるかな？

同じ理由で連続投稿規制・・・
ロックすれば即時判別できるけど・・・時間が惜しいのでロックしない＝並列で処理されると連投できる
が・・・Cronでゆっくり判別して、バンリスト行きが高速でいいかな？

ごめ・・・設定ミス。
平行に走らせてるの忘れてた。
オーダは１−２ｍｓだから大差ない・・・ロックするよ・・・orz

カキコは今んとこまだ処理できんことないみたいな話でもなかったっけかｗｗｗ
…ついてけてない?ｗｗｗ

ひたすら読んで50 ほ

読破したら、ささっと整理して、うｐして、いよいよ運営の記録読む

書き込み人のIPはどこに保存しよう？datファイルの中に詰め込む?　それとも別のファイルに書き出すようにする？
別のファイルに書き出す方が9ヶ月(だっけ?)過ぎた後消すのも楽だしいいと思う。
そもそも読み込む機会なんてKが来た時ぐらいだし。

別にしないとダメよん

書き込みログってやつ？
そっちはかなりやばいらしいね

現場指向のレプリケーション詳説
http://www.irori.org/doc/mysql-rep.html#2.1.0

需要あるか分からないけど、とりあえずIPのログ書き出し部分を今作ってます。

wiki に .jpg 貼られたｗｗｗｗ

保守age

保守

あげげのあげたろう

VIPPERだからこそ金積まないとやってくれないよ！

保守

仕事もする 2ch 系の予習復習もする で保守

IPログ書き込みクラスできました。wikiトップの iplog.zipです。
もし不要でしたら窓から投げ捨ててくださいｗ

Ｃ言語は中３程度できるので課題を与えてください
僕ちん>>168からリードオンリーでした

たぶん、これがソース。
http://www.gedoh.org/aki/2ch/

テキトーに書いたとこがバグってた・・

携帯からの書き込みが７月２８からできないｗｗ
ウィルス規制とか出るｗｗ
助けてくれｗｗｗ

それはスレと関係ないから運営で聞いた方がいいよ

スレ違いなのは承知ｗゴメスｗ
運営頼りになんねえｗ
頼むｗｗｗお願いしまつｗｗｗ

調子のんな

Webブラウザから 2ちゃんねる、まちBBS、JBBS@したらばBBS 等の
掲示板を快適に閲覧するためのPHPスクリプトです。
Mac OS X、UNIX、Linux、Windows などで動くマルチプラットフォーム設計。
p2公式サイト http://akid.s17.xrea.com/
http://sourceforge.jp/projects/p2-php/

>>455
漏れがVIP 運営のログ読解するん助けてorz そして実装もﾖﾛ
中3レベルなんて言わずにｗ

>>456
現行のものとは違いますが、みんなこっそり読んで勉強してるやつですね そして漏れも

なんか、いいだしっぺﾅﾝﾄｶで情報収集と整理してる内に
シミュレーション環境どんどん増えてるｗｗｗむちゃ嬉しいｗｗｗ

考える条件てこんな感じでいいんかね・・・
コメント募集・・・

スレ立てる：HTTP POST時(比較的軽い)
スレ書き込む：HTTP POST時(比較的軽い)
スレ読み込む：HTTP GET時(軽い)

/index.html作成：スレ立て時：スレ書き込み時：又はcronで周期？（重い）
/subject.html作成：スレ立て時：スレ書き込み時：又はcronで周期？（重い）

/スレ落ちる：スレ立て時に一番古い物が落ちる(gz圧縮も含めて比較的軽い）
/倉庫/index.html:新しい倉庫が出来るとき(？)
/倉庫/subject.html:スレ落ちたとき（超重い）

あぽーん時過去修正（さて・・問題だ・・・）

SQLにしたときの問題

SQL的なロックとFSとのシンクずれ・・・

たとえば・・・
SQLでロック取る
SQLでディレクトリ無いことを確認
ディレクトリ作成する。
SQLでディレクトリ有りをマーク
SQLでロック外す

SQLでロック取る
SQLでディレクトリあることを確認
ディレクトリにアクセス・・・するが・・・
syncのずれでまだディレクトリが出来ていない・・・
アウチ・・・

がレア発生・・・
ファイルシステムのシンク入れると・・・
今度はSQLのロック時間が長すぎてスループットが・・・
スループットが・・・
まぁ、ディレクトリごときは、最初に作れば良いが・・・
ファイルでもダイジョブかしんぱい。

現行スレッドの読み書きの排他制御が一番の問題・・・
いっそ、ファイルに落とさず、HEAPなテーブルで毎回select？
バカな・・・

18:00過ぎると人が集まりだすなｗｗ

>>464
今回問題になってるのは
>/倉庫/subject.html:スレ落ちたとき（超重い）
だよね

上の部分はテスト環境で作ります
/subject.html生成は>>246氏が作ってるの追加して，
IP保存部分は>>442氏が作ったのを追加します

subject.htmlとindex.htmlってスレ立て・書き込み時に作るか
cronで周期的に作るのどっちがいいのかなぁ・・・
cronだと書き込み反映までのタイムラグがあるような

cron か、daemon か…

たとえば、idxc.pl は、daemon として稼動すると、効率がいいように…手を抜いてますｗｗｗ

規制システムも収拾が付かなくなったみたいな記載もときにあるんですが、
規制システムも(さわらしてはくれないにしても)実現可能性を提示せないかんの?

規制システムは余波で動かなくなったみたいだから、過去ログの部分が正常に動いていれば問題ないんだと思う

鯖は何処の使うの？

>>469
なる。ちょいわかったｗ

今は、各自PC 上に、実証システムと仮想VIPPER 達を同居させて、【とにかく】作ってみてる、という認識でおｋ?

いわば無理に答えれば、localhost か?

んで、VIP 運用の運営系要約、通読しながら作ってwiki に投げてみた
abstract って書いてる方 cbpak はスルーで(バグ有 PC 無害だが無益)

やっぱきちっと目を通さないと、あかんな。漏れあっちこっち勘違いしてた
これ踏まえて(時系列とか)、メイン運営の過去ログおさらいに逝くです

あ、それと、これやっぱりわからんのだが…
.dat って、実倉庫に行く前に、いったんどっか特定位置にflat で溜めてるって認識でおｋ ? 違う?

乱立中につきage

こんな感じにphpでdat読み込みできないかな・・・

$fp = fopen("http://...dat(dat file)", "r");
while (!feof($fp)) {
if(mb_ereg((*)<>(*)<>(*),fgets($fp, 524288),$res))
echo "<a href=%22mailto$res[2]%22>$res[1]</a><br>$res[3]";
}else{break;}
}
fclose($fp);

ログには、IP に加えて、クッキとUA も記録しないとかもです…

bool CIPLog::WriteExtended(int type, void* buf, size_t sz);
bool CIPLog::ReadExtended(int nres, int type, void* buf, size_t sz);

なんてのは、いかがでしょう
(重要なのは、インタフェースとしてのクラス自体 実装は先でもおｋ
とりあえずは、*buf=0; return true; くらいでいいでそｗｗｗ)

>>474
蛇足ですが、最初の行には、最後に <>(スレタイ) もありますよーｗ

>>475
せっかく固定長で処理できたと喜んでたのにｗ
IF、実装共にちょっと考えてみます。

慌てない、慌てないｗｗｗｗ

IF その追加で趣味に合わないことなかったら、それでいけるかもしれん
それに、Extended の実装は、いよいよっていう段階でも十分間に合うですよ

今の実装には、速度としての意味がちゃんとあります
それは、IP アドレスは参照頻度が多分高そうなのに対して、
クッキ/UA は、永続化以後はそんなに出番がなさそうだからです

ちなみに、FreeBSD/Linux には、dbm, gdbm という古くて便利なライブラリが
備わっているので、当初は、IF からそいつを叩いても悪くないです ご存知でしたらｽﾏｿ

>>477
そうですね。まあゆっくり書きます。

>>478
知らなかったです。良さそうな方法思いついたのでそれ使わなくても大丈夫そうです。

あと、サーバーが不意に落ちたときにデータの整合性をどうやって保持しましょうかね。datも

書き込みログのフォーマットは田吾作 ★を参照すると良いかと♪
http://qb5.2ch.net/test/read.cgi/sec2chd/1127812156/81

でもって書き込みログにはあぼーんは存在しないので、DBにしちゃっても良いかと。use BerkleyDBとか。「板名.dat名」のハシュとかとかで。

あと、daemonにするんだと、bbsdが参照になるかな♪＠雪だるま
鯖にはsvscanも入っていると思われますし、そちらにお任せもありかと♪

書き込みログの形式を変えた場合の、今回ボトルネックになっていなくて言及されない、他稼働中のモジュールへの影響が
どうしても不安なのですが…誰が見てもわかるような構成なら、plain text でなくてもいいですか?

画期的ならフルスクラッチ上等との声も伝わってきますが、採用されてナンボの世界 IF の変更は自信ﾅｻｽ…

// パトラッシュがそこまで来ているようですので、礼も言わずに寝落ちるかもですorz

つ〃∩ へぇ〜　全部記録してるのか。　

ねこみま えほっしゅ

ねこみみ まえほっしゅ

何も出来ない漏れが来ましたよ

バギーな漏れも来ましたよ

>>413の193さんが作った奴をC++でクラス化して、subject.txtをいじるように変更。
どうしてもロックで破綻(lockしたはずなのに開けないとか)してしまうんだけど、何かスマートな方法無いかな？
それとも漏れがまともに組めてないだけ？(＾ω＾;)

ちなみに、datpush.plのlock及びunlockの呼び出し部分は「&lock」「&unlock」に変えてください…
しかもこのlock関数うまく動いてない気がしなくも無いんで、idxc.plのcheck_lockにでも差し替えておいて (´･ω･`)

詰んだら、寝死んでしまう前に、xxxxx_buggy.vN.NN.zip とかしてうｐってみてください
視点が変われば、解けるかもしらん。
buggy 上等。蟲キングならおまいには渡さんｗｗｗ漏れ様が上だぜｗｗｗｗ

だってここは、VIP じゃないか。叩いて、笑って。肩組んで。
馴れ合いなんかじゃない。でも、漏れら、…つながってる。

それが、プロジェクト。まだ、始まったばかり。

>>486
うはｗｗｗクラス化してくれたのかｗｗｗ�dクスｗｗ
とりあえずdatファイル作れればいいやと思って
lock操作とか全く考えてなかったしｗ

ディレクトリ構造とかdatファイルのフォーマットは
>>480さんのあたりとか
http://www.2ch2.net/j/
を参考に修正しないと駄目かな・・・・

とりあえず246さん更新したプログラムうｐしてくれるとｱﾘｶﾞﾀｽ

いつのまにかsubject.txtが300MBを超えてびっくりしたお （＾ω＾;）

>>487
蟲キングﾜﾗﾀそしてせんくすー。上記のバグ直ったらうｐするｗ

頑張れー。

>>490
お前はひろゆきから早くソース貰って来い
話はそれからだ

Ｆｌａｓｈ制作チュー

>>490
てめー、メール送りなおしたのかよ。何回も聞いてんだろ。

答えないってことから推量して今公開できない事情があるんじゃないかな〜

もうこのスレ見てないに100ペリカ

届けるつもりがあるのかどうか、肝心なこと答えてくれないんだよね
別の誰かが送った方がいいんじゃないかな？

公開できるかどうかこたえること自体で何かまずいことがばれちゃうんじゃないの？

だってソース公開もしくは条件付で見せてってメールしただけでしょ？
YesかNoしかなくない？

ひろゆきは1ヶ月放置するときもあるのだ

>>499
カーネルパラメータとかもこうかいしてもらってくれよー
そっちも検討したい。

送って、届いたのね
ひろゆきが見てる見てないに関わらず
それを聞きたかったのに答えないんだもん

深読みしすぎたか＾＾；
待つしかないかね

手があいてる人は念のため気づいた時に保守お願いしますー

>>499
乱暴な言葉使って悪かった。ごめんなさい＆ご苦労様。


また乱立始まったな。

乱立すごいな…

この乱立が何とかなればいいのだがなぁ・・・・

保守されてない1桁すればっかりだから大丈夫だと思うけど

いっそのこと2chをjavaにしちゃおうぜ。

今気づいたんだけど、subject.txtって "1122995761.dat<>今から心理テスト始めます！ (13)"
みたいに最後に総レス数がついてるけど、まさか、どこかのスレに1レスつくごとに再生成してたの？

>>509
んまあぁ、そうだよ

>>509
たぶんそうだと思う
つーことで、やっぱりcronで現行スレのsubject.txt生成は辛いかも
daemonでdatファイル生成をキャッチ、現在のレス数を調べてsubject.txt書き直し、の方がいいと思う

bbs.cgi自体はsubject.txt書込み操作してるのかな？

>>509
最近はたまにサボる設定だけどね

>>510
たしか、板のTOPの生成時とかに主に使われてる
漏れも、２ｃｈｸﾛｰﾝを作ってた時期もあったがこの処理が無くなれば多少は負荷が少なくなるな
頻繁に書き込まれたりスレが立たなければたいした負荷じゃないが、VIPとかの場合だと
この負荷が結構な曲者なｷｶﾞｽ

VIP閉鎖してみんなでニュー速にスレ立てればいいじゃん

うはｗｗｗアンカー間違えたorz
>>509ね

そりゃ重くて当然だわｗ
スレッドが立つたびに再生成するだけかと思っていたら・・　まさにボトルネック

0バイトファイルのファイル名だけ書き換えで管理すればいいんだよ

本当は専ﾌﾞﾗ使ってくれれば、その生成は不要になるのだがね
それが行かないのが現実

>508 そしたら生IPも抜けるし、平和平和。

"1122995761.dat<>今から心理テスト始めます！ (0013)"みたいにゼロで埋めるのは駄目なの？
これでかなり違うはず。

それでもってファイルに逐一書き出さないでメモリから直接レスポンス返すようにできれば物凄い負荷減ると思う。

>>520
"1122995761.dat<>今から心理テスト始めます！ (13) " みたいに空白で埋めるのもどうよ
subject.txtとかsubback.htmlは流石にRAMDISK上じゃね？まぁ、自分で組んだほうが早いだろうけど。

ここで何らかの掲示板システムを作るなら
GPLでお願いします

subject.txtのレス数か・・・・

レス数カウント/報告デーモンみたいなものを持って
dat名とレス数の連想配列を共有メモリあたりに持っちゃった方がいいかも・・・・


ってsubject.txt互換性がwwwww

ついでにread.cgiとかも変えなきゃいけなくなるのか。。。。

>>522 オープンソースなら良いと思うけど、
GPLって今調べてみたら、無料配布ってことじゃん。
厨房のとき17氏スクリプトが出てきた気がするが、
ちゃんねる乱立していた気がする。

あと、index.htmlの▼▲■はイラネ！

>>523
すまん共有メモリ関係ないwww

>>521
なるほど後ろに空白の方が互換性が高そうでいいかもしれませんね。
ファイルはRAMDISK上か・・てっきりHDDに毎回アクセスしてるのかとorz

>>524
ちゃんと勉強しろ

運営の人にお聞きしたいんですがsubject.txtの仕様を今の話の様に変更しても大丈夫でしょうか?

>>528
このスレで出た仕様に変えれば、負荷が多少減ると思うが
ためしに、一部だけ適用させて、その負荷の変化を見てからでもいいんじゃまいか？

結局・・・色々やり始めるとread.cgiとbbs.cgiの変更が避けられないという手間暇の問題に・・・
で共有メモリ云々は、上の方にソースがあった、DMOを見てみるとmmapが入ってるので
Ａｐａｃｈｅのモジュールレベルである程度の物はメモリ展開してるように見えるので、
メモリ関連でできることは、現状でも最大限やってあって、ネックになってるのはほんとsubject.txtの問題だけだとおもう。

で、mysqlを使ったベンチ・・・bbs.cgiのmysql版がくみ終わったのでindex作成、subject作成、dat落ちと組み合わせて
apache benchでhttp負荷かけながら、daemon化したindex,subject作成と組み合わせる試験してみた・・・
結論から言えば秒間１スレ程度ならたぶん問題ないさげだけどもっと高負荷になれば問題があるよねと当たり前の帰結に（ｗ

もう164スレ目まで落ちたぞ。ageますよぉ。
>527 メンゴ。大坊夏厨なんで。

ＭｙＳＱＬ版の方針
テーブル
T1：アクティブなスレの管理テーブル(ID,タイトル,最終更新日時)
T2：アクティブなスレのレス数管理テーブル（メモリ）(ID,レス数)
T3：アクティブなスレのレス管理テーブル(ID,番号,最終更新日時,他投稿データ)
T4：落ちたスレの管理テーブル(ID,タイトル)
T5：最後にindex.htmlとsubject.txtを作った日時管理テーブル(日時)

プログラム１ daemon
定期ループ
T1の全スレの中の最も遅い更新日時とT5の日付を比較
index.html作成後T5後にT1の変更があれば、index,subject作成なければSleep
index.htmlの作成はT1,T2,T3から作成数が少ないので早い
subject.txtの作成はT1,T2から作成 レス数がメモリ上にあるのでそこそこ早い
この時、最大値１０００個？＜アクティブ数の場合は、最新１０００個分作成
この時点ではdat落ちはさせない。
T5更新

プログラム２ daemon
定期ループ
T2をみてアクティブなスレが１０００個以上あれば、DAT落ち処理開始
１０００個以上かつ更新日時が遅い物をT1〜T3から削除 T4へ
/3桁/3桁/1桁/subject.txt
をT4と使って生成。とりあえず1000個に1個subject.txtを作ってみる

>>530
まぁ、VIPとかｽﾚの消費等が激しいから、それを重点的においていくと
高負荷って問題だけは避けられないな。
ｽﾚの乱立と加速さえなければ、いいのだが、それがいかないからなぁ・・・・
問題は山積みだな

書き込み httpd
T2を使ってアクティブなスレなら書き込み
T2を使ってロック
XXXXXXXXXX.datに追記
T1-T3更新
スレ立て httpd
T1-T3を更新
T2を使ってロック
XXXXXXXXXX.datに追記
この状態で、apache bench使って、秒間50-100個程度のスレ立て
でベンチ・・・
rはsubject.txtを作成したスレのIDプログラム２のログ
r0000069000
r0000068000
real 0m0.549s
user 0m0.080s
sys 0m0.050s
r0000070000
r0000069000
done
real 0m0.560s
user 0m0.130s
sys 0m0.100s
差分が悪そうな２つをピック共有サーバだしね・・・（ｗ
分散が良くないけど・・・おおよそテーブルロックなどもあり、
1個subject作成あたり、50ms　１ファイル当たり１０倍の10000個のスレを入れても
時間はそんなに変わらないので、ファイル数を多くするのはアプローチとしては、
/XXX/XXX/X/なディレクトリに対して/XXX/XXX/あたり１つのsubject.txt作成？

うわ、日本語しゃべれてねー

>>529
そうですね。明日ためしに実装してみます。

板全体でres/sec って最高どの位ですかね？多ければ多いほど効果的だとは思いますが。

なにか、測定して欲しいベンチがあればドゾ。
自己満足しますた。

>>537
ttp://www.kokugai.com/kagoo/images/ul_bench/ul198bl120.jpg
これお願い

素敵な色合いですね

とりあえず、ロック部分を実装すればまともに動きそうだからWikiにうｐるお
今は失敗しても数秒待つことで対処してる。
でも、たまに過去ログに押し込まれないdatもあったりしていろいろバグがあるぽ
idxc.plは転載許可もらってないから、>>427さんの言う通りにmake_index_idを変更使ってくれ
use integerを書くのを忘れるとo1234.44とか酷いログフォルダが生成されるｗ

実行ファイル付き。ディスクがつぶれても責任とれないんでよろｗ
vita.exeはキーボードを押してればそのうち終わるけど、Control+Cで終わらしたほうがよさげ
(再実行はold_subject.txtとか〜.lockを消してからしてね)

datpushと連携した使い方は、
1.perl idxc.pl svr
2.perl datpush.pl
3.vita
こんな感じ。datpush.plはsubject.txtが開けなくても続行しようとするから、エラーが出ても気にしないでｗ
あと、Cygwinでコンパイルしようとすると意味不明なエラーで通らないから誰か助けて （＾ω＾；）

>>540 UNIX環境でc++が使えるのか疑問

遅レスｽﾏｿ

一部のファイルをRAM上に置いてるのがジンギスカン
ttp://info.2ch.net/wiki/pukiwiki.php?%A5%B8%A5%F3%A5%AE%A5%B9%A5%AB%A5%F3
（更新されてないけど基本は書いてある）

>>541
vitaは自鯖デバッグ用だからそこまで頭回してない。
実際にcgiを書く時はCで書くつもり。

>>540
すげー連携取れてるｗｗｗｗ夢が広がりんぐｗｗｗｗｗ
vitaも修正されてるｗｗｗﾃﾗｳﾚｼｽｗｗｗｗ

>>488に書いたディレクトリ構造に対応したコードをこっちで書いてたけど
246さんの書いたコードに追記してvita-0.3.0作ります
今度はreadme＆makefile付き

ほっしゅです

★ read.cgi 作り直し大作戦 〜愛は2chを救う〜
http://jbbs.livedoor.jp/bbs/read.cgi/computer/2095/1051177958/l100
read.cgi再開発スレ Part2
http://qb5.2ch.net/test/read.cgi/operate/1105909861/l50
bbs.cgi再開発プロジェクト6
http://qb5.2ch.net/test/read.cgi/operate/1113117347/l50
昔のソース醤油
http://2ch.nekoruri.jp/current/

phpで2chを再現すると・・・
http://php.s3.to/bbs/fstyle/index.php
2chブラウザ対応してますか？
http://php.s3.to/bbs/fstyle/read.php?key=1016125544&st=7&to=57

そのまま編集モードってのがwiki構文が適用されなくて見やすかったから、
050923ServerFlame作り直したよ。
http://www6.atwiki.jp/fix2ch/pages/37.html

保守

保守しとこーか

保守

保守

PC復帰し次第まとめサイトをもうちょっとなんとかするよ。

うｐ乙! 仕事一段落付いたら覗きに逝くです

何この神が集うスレ
感動した

プログラミングは何も出来ないが、何か人手が必要になった時は是非手伝わせてくれ！

agege no agetarou

…仕事さぼれず。ほ

トリップ化けを直せ

ちょｗｗｗｗｗgccｗｗｗｗｗ

// 有る意味お遊び機能

↓

// 有る意味お遊び機能ｗ

'能' = 94 5C

廃棄物（ｗ
sub fcopy {
my $fname = shift, $inpath = shift , $outpath = shift, $srcfname = shift;
$srcfile = $inpath."".$fname;
$srcfile = $inpath."".$srcfname if ($srcfname ne "");
$dstfile = $outpath."".$fname;
my $return;
$return = 0;
$copyfile = $srcfile;
if ($copyfile ne ""){
($copyfilesize) = (stat($copyfile))[7];
($copyfiletime) = (stat($copyfile))[9];
open INFILE,"$copyfile";
binmode(INFILE);
read(INFILE,$copyfiledata,$copyfilesize);
close INFILE;
if (length($copyfiledata) eq $copyfilesize){
$file = $dstfile;
($dev, $ino, $mode, $nlink, $uid, $gid, $rdev, $size, $atime, $mtime, $ctime, $blksize, $blocks) = stat($dstfile);
if ($mtime eq $copyfiletime) { print "done"; } else {
open OUTFILE, ">".$dstfile;
binmode(OUTFILE);
print OUTFILE $copyfiledata;
close OUTFILE;
utime($copyfiletime,$copyfiletime,$dstfile);
}}}return $return;}

どうでもいいが、cl /Ot /MD にしてサンプル.exe うｐってちょｗ で、ほっしゅ

なんかまた乱立してるのでage

保守

保守ついでにこれ押し付けるお（＾ω＾）

int gcSigint=0;
void __cdecl CatchSigINT(int sig){
printf ("[^C]");
gcSigint++;
}

void SetupSigINT(void){
signal(SIGINT, CatchSigINT);
}

cygwin でもちゃんとcatch できたお（＾ω＾）ﾉ

↑明示的に、volatile int gcSigint=0; の方がよかったかもしれん

agge

JavaScriptを変更することなくAJAXを実現 - AjaxAnywhere 1.0.1公開
http://pcweb.mycom.co.jp/news/2005/09/26/011.html

天才プログラマーな漏れが来ましたよ

西村ひろゆき 「２ちゃんねるに来る奴は、実社会で不遇な立場の奴」
http://news19.2ch.net/test/read.cgi/news/1127833115/l50

西村ひろゆき 「２ちゃんねるよりウイイレのほうが何倍も面白い」
http://news19.2ch.net/test/read.cgi/news/1127889852/l50

保守

さらに保守

ほ

ｈ

( ﾟДﾟ)ﾎｼｭ!!

　　　 ∧＿∧　 ／￣￣￣￣
　 ∧（　´∀｀）＜　age
　（　⊂ 　　　⊃ ＼＿＿＿＿
　（　つ　ノ ノ
　｜（_＿）＿）
　（_＿）＿）

試しにsubject.txtの仕様を変更した場合どうなるかプログラムを作ってみた

subject.txtは常に10万スレッド保持、1回のdat生成につき1万回の総レス数書き換え を60セット
HDD 102 sec
HDD 77 sec (dat生成のみ)
RAMDISK 29 sec
RAMDISK 23 sec (dat生成のみ)

(RAMDISKの場合 CPUを100%使い切ってるので鯖ならもっと速くなると思う)

考察
ほとんどのリソースをdatファイル生成に使っているため、以前の仕様では恐ろしく負荷が掛かる。
新しい仕様はレスがついても5バイトしか書き換えないため、非常に高速である。
書き出し部分に限って言えばレスがいくらついてもその負荷はほとんど無視できる(特にRAMDISK)

ということでsubject.txtの仕様変更はどうでしょうか > 運営さん

変更案1
"xxxxxxxxxx.dat<>スレッドタイトル (22)"
"xxxxxxxxxx.dat<>スレッドタイトル (22)__" <- 後ろを空白で埋める。

変更案2
"xxxxxxxxxx.dat<>スレッドタイトル (22)"
"xxxxxxxxxx.dat<>スレッドタイトル (0022)"　括弧内を'0'で埋める。

ほっしゅ

wiki に write_subject.zip で上げときました。

ぜんぜんスレ読まないで書くけど
とりあえず規制解除には画期的なシステムが必要ってこと？
なんとなくむりぽな悪寒。VIPPERなんてこんなときでも協力しないもんなぁ。

ついでに保守

なあ、上げられたら書き換えなきゃいけなくね？

sageならいいけどageならさ・・・・・・

ところでサーバー側での●の処理ってどこでやってるんでしょか

>>580
スレ読んでないなら偉そうな事いうなボケ
貴様みたいな奴は惨殺されろ

>>580
下手に協力されると逆に邪魔かもwwww

既存スレのsubject.txtは新着順
dat落ちしたsubject.txtはdatファイル名で昇順
てことでおｋ？

STL 使い多いなー やっぱ時代はｾｸﾛｽよりSTL かｗ