プログラマが2chを救う！？２

2chの読み出し[read.cgi]の最適化、効率化を中心に検討・開発しています。
このスレッドへのご感想・不具合報告の投稿はお控えください。

読み出しがうまくいかない・エラーなどの不具合報告はこちら
・2chの動作報告はここで。
http://teri.2ch.net/test/read.cgi?bbs=accuse&key=998808733

現状へのご意見ご感想はこちら
・転送量(料)の増加で2ch閉鎖の危機！５
http://teri.2ch.net/test/read.cgi?bbs=accuse&key=998806470

緊急対策コーディングはこちら
・UNIX板で2chのプログラムを開発中　ﾊﾟｰﾄ 3
http://teri.2ch.net/test/read.cgi?bbs=accuse&key=998765190

・開発用wiki(ソースなどの掲載があります)
http://www.gedoh.org/aki/2ch/wiki/yukiwiki.cgi?TopPage

曜日出せｺﾞﾙｧ

ap_parseHTTPdate の *.o (Linux/x86) だけ ftp put するのって
最初からオープンソースで改造もしてないからok?

夜勤さんの発言見る限り、タグ関連は今日無理だね。
引き続きWeb製作板で煮詰めるってことで。

最新版
http://star.endless.ne.jp/users/forcount/contents/scriptmaker/read12.c

曜日の出力は bbs.cgi の担当でしょ。
ここは read.cgi の改良スレ。

>>5
お疲れさまです。
>>4
タグ関連は、見た目も機能も若干変わるので、夜勤さんあたりにチェックして
いただきたいんですよね。
だから、それまでにわかりやすく、変更可能箇所の一覧表を作っておかないと。

read12.c 1045行目
× Shift-JIS
○ Shift_JIS
ですね

>>8
すいません。。
ftp://210.170.170.131/incoming/2ch-read-current/read12.fix.c
に修正しました。
>>5
あと、Makefileもそちらにおいていただけますか？

２ｃｈを国家事業か、財団法人にしてくんねーかな？
もちろん今までのスタンスを維持したまま。

>>10
現状のニュース速報板の偏りでは無理かと思われ

>>9
makefileもおいてますよ
http://star.endless.ne.jp/users/forcount/4countbbs/scriptmaker/index.html

この辺りを決めないと卵とニワトリの議論になってしまうんですけど…。
夜勤さんに質問なんですが、レイアウトはどこまで変えていいのでしょうか？

名前の色を緑に変えるのをやめる、などのレベルから、index2のtableをやめる、
などありますが。実際、あめぞうスレッド形式を保つだけというもので、サイズを
かなり小さくしたものもあります。
見かけを変えずに省略できるものを先に議論していますが、これが決まらないと
大きくサイズを変えるのは難しいと思います。

http://star.endless.ne.jp/users/forcount/contents/scriptmaker/read12.fix.c
バージョンアップ

分散したほうが言いかと思う。

>>12
ありがとうございますです。makefile.txt -> Makefile.txt ですね。
>>13
夜勤さんよんできます。。。

http://star.endless.ne.jp/users/forcount/contents/scriptmaker/Makefile.txt

前スレの
http://piza2.2ch.net/test/read.cgi?bbs=tech&key=998736516&st=902&to=903
ですが、どうしましょう。。。

前スレ９０２のバグＦＩＸ
http://star.endless.ne.jp/users/forcount/contents/scriptmaker/read12.fix2.c

util_date.o
util_date.h
を put しました・・・（Linux 2.2 でいいんですよね）

http://star.endless.ne.jp/users/forcount/contents/scriptmaker/read12.fix2.c
http://star.endless.ne.jp/users/forcount/contents/scriptmaker/Makefile.txt
で良いのかな？

>>21
よろしいと思いますです。。。

かちゅ〜しゃで書き込むとエラーになる。
でも正常に書き込まれてますけど。
これって戻り値が変わったりしたからなのかな？

つい先ほどこの騒ぎを知りました。
今のところ正常に読み書きできています。

すべての書き込みに目を通したわけではないので、重なっていることかもしれませんが。
1. ＣＰＵ負荷に余裕があるなら gzip -9 を使う。
2. zlib を使う
3. mod_gzip だと差分ロードができない
＞初回はaccept:gzip で、差分ロードする場合はnon gzipped ということで（リーダーを改造）。
＞もっともmodはＣＧＩではないですが...
4. 前のレスへ飛ぶリンクをつける
＞全部読む人が減ると思う。

っと、zlib対応は進んでいるようですね。
私は明日から北海道に逃亡しているので、口も手もだせなくなるんですが。
帰ってきて、まだ問題が続いていれば何か手伝いたいと思います。
一応Cは４年ほどやってますので。

なんか、エラーを表示するときにちゃんと終了処理をしていないっぽいように見えますが...
具体的にはhtml_errorとhtml_error999のexit(0);の前にmain()と同等の
終了処理(#ifdef GZIP ... #endif)を入れるべきでは?

>>25
つうか終了処理はatexit()使えば？

>>24
mod_gzipは、差分(range付き)時にgzip圧縮を止めるだけです(もどき板を参照)
http://nh.mikage.to/test/read.cgi?bbs=discuss&key=983979360&ls=50

>>25
エラー出力をgzip付きでおくるのもどうかと思うが。

>>6
誰、どこの板が担当してるのか教えれ。

>>28
bbs.cgiはまだ公開されてない。運営側が改造しつづけてる。

>>28
bbs.cgiはこっち
・2chの動作報告はここで。
http://teri.2ch.net/test/read.cgi?bbs=accuse&key=998808733

ご存知かもしれませんが、Web板での議論は↓
http://www.gedoh.org/aki/2ch/wiki/yukiwiki.cgi?mycmd=read&mypage=%5B%5Bhtml%82%CC%8Ed%97l%5D%5D
にまとめてあります。

>>26
gzip関連プロセスの終了部分を別関数にするのかな。
>>27
cgi内部のエラーだからまあいいか、なんて。

zlib周りのカレントのソースを、

ftp://210.170.170.131/incoming/2ch-read-current/read12.zlib.c

においてみました。なんかこれであってますでしょうか。
うまく動かないのですけれども。

>>25
ftp://210.170.170.131/incoming/2ch-read-current/read12.fix3.c
におきました。

read12.fix2.c の outhtml1関数内にある
配列 r0,r1,r2,r3,r4 って、いらないのでは？(235行目)
使ってないよ。

あ、デフォルトさんの参考資料見てなかったです。

>>34
gzcloseしてない

ゴメソ、もう一箇所。
gzopenしてからputchar(っつーかgzputc)しないと意味なし。

>>37-38
>>34じゃなくて>>33じゃん...
鬱だ氏のう

>>35
r4はつかってますよね。。。しかし、なんだろう、これ。
消していいのかな(笑
>>37-38
よくわからないのですが。。。
putcharはこれでうまくいってるのですよね？＞リロード時先頭欠け問題

>>39
あ、了解です。ぺこぺこ

>>40
すみません。r4使ってますね。

ではバージョンアップ
http://star.endless.ne.jp/users/forcount/contents/scriptmaker/read12.fix3.c

>>33と>>34合わせたのを
http://star.endless.ne.jp/users/forcount/contents/scriptmaker/read12.fix4.c
としたけど
>>33はバグあり？

えと最初のfix3、バグがあります。buildがうまく行きません。

まじですか？

- gzFile *
+ gzFile

じゃねえのかい

318行目printf残ってる

>>44
あにゃ、手元のと
ftp://210.170.170.131/incoming/2ch-read-current/read12.fix3.c
は今もうまくいったのですが。。。

終了処理コードの追加部分、'pid'がないといわれている。
pidをグローバルにしないとだめ?(いやだなー)

前スレに出てる通り gzFile と FILE* はまとめた方がいいよ
（ポインタサイズだから大丈夫だろうけど）

ではバグ有りは
私が上げたやつですか？

おかしいな改変してないんだけど・・・

いや、ちょっといろいろなおしてあげなおします。
gcc通るけどmake通らなくなっちゃった(汗

しかし・・・
かちゅの不具合はどうにかならんかなぁ

>>49
グローバルにしちゃいました。とりあえず。。。
ftp://210.170.170.131/incoming/2ch-read-current/read12.fix3.1.c
です。今度はmakeもとおります。

>>諸氏
ご指摘サンクスです。

/home/ftp/incoming/2ch-read-current/read12.zlib-02.c

こんな感じでしょうか？
あと、end_html999()は、使用されてない関数につきあぼーんしました。

＞娘。さん
ということで、fixするのでしたらend_html999()をあぼーんしてはいかがでしょう。

http://star.endless.ne.jp/users/forcount/contents/scriptmaker/read12.fix3.1.c
アップ完了

ついでにＨＮ変更（まぁどうでも良いが・・・）

http://star.endless.ne.jp/users/forcount/contents/scriptmaker/read12.zlib-02.c
アプ完了

>>56と>>57をまとめて
バージョン１３にしてしまいませんか？

>>55
またもや終了処理だけど。
waitpidはいらんでしょう :-)
あとgzcloseがclose(1);を含めている(らしい、ヘッダに書いてあるコメント
を見ると)ことと、>>26 氏が指摘したように atexit を使うことを考えると
void atexitfunc(void)
{
if(gzip_flag) {
gzflush(pStdout, Z_FINISH);
fflush(stdout);
gzclose(pStdout);
}
}
を追加して gzdopen の直後に atexit(atexitfunc); を入れればいいのでは。
(で、今まで入れていたmainの終了処理コード(#ifdef GZIP ... #endif)を削る)

>>55
html_error999ですね。あぼーんしてもいいのですが、もしかしたら
なんかに使うときがあるのかな、なんて思うので、とってあります。
ところで、zlib部分ですが、#ifdef ZLIB かなんかで括っていただけ
ませんでしょうか？
そうすると、コンパイル時に選択肢を残しつつ、mergeできますので。
# こっちでやれって？(^^;

>>59(37さん)
ご指摘感謝です。その修正入れたものを、read12.zlib-03.cとして
currentに放り込んでおきました。

そして素早くアプしておきました
http://star.endless.ne.jp/users/forcount/contents/scriptmaker/read12.zlib-03.c

>>58さん
実は、稼動確認取ってません(^^;;。
とりあえずbuildが通ったところ＆ケアレスミスがないかを一通り
チェックしたところでuploadしている段階・・・で認識してますが
あってますか？

>>63
でも一度まとめてしまった方が
良さそうな気もしますけどね

・・・って、これぜんぜんまともに動いてないです。
うちの簡易環境でやったらread.cgiの結果が真っ白・・・・・。

がーん。

>>63-64
んと、read12.zlib 系って、read12.fix 系のどれをもとにしてますか？
こちらでまとめてしまいまする。

+　　　　　　　　flush(stdout);
+
　　　　　　　　// 終了処理登録
-　　　　　　　　atexitfunc();
+　　　　　　　　atexit(atexitfunc);

　　　　　　　　pPrintf = gzprintf;
　　　　　　　　gzsetparams(pStdout, Z_BEST_COMPRESSION, Z_DEFAULT_STRATEGY);

　　　　　　　　//put 2048byte
-　　　　　　　　gzflush(pStdout, Z_SYNC_FLUSH);
　　　　　　　　while(whitespace--)gzputc(pStdout, ' ');
-　　　　　　　　gzflush(pStdout, Z_SYNC_FLUSH);


あと終了処理でただ単にgzclose()だけじゃダメなの？

fix2じゃないですか？
間違ってたらスマソ

実況防止機能（素早い reload を無視）
http://cocoa.2ch.net/test/read.cgi?bbs=unix&key=998764722&st=490
これで多少は転送料減りませんか。

>>65
681行目 atexitfunc(); は atexit(atexitfunc); です

793行目sprintfの%50sのsが抜けてるぞ

warningが多いから先にマージした方がよさそう

bbs.cgiはまだ手付かず？
あれの吐き出すindex2.htmlのread.cgi削除してほしい。

作業中ですぅ。。。

がんばってください。

>>73
手つかずみたいだねぇ
っていうか付けたくても付けれない？

>>74
ファイトです

「名前：」「投稿日：」消せるんだろ。とっととやれよ。
それが嫌なら曜日戻せ。

＞娘。さん
zlibの元になってるのは、確かfix3です。
fix3に対してbuildを通すように自力改造したやつです。
内容はpidをグローバルに、って感じだったんでfix3.1と同じだと思います。

＞デフォルトさん
ご指摘内容直しました。
ftp://210.170.170.131/incoming/2ch-read-current/read12.zlib-04.c

コンパイルに手こずっております・・・

ああ、zlib使わないときにpPrintfをどうするかを考えないといけないんだ。。。

http://star.endless.ne.jp/users/forcount/contents/scriptmaker/read12.zlib-04.c
アプ完了

>>80
#define pPrintf fprintf
#define pStdout stdout
してしまえばOK。

>>80
あ、それ考えてない(大汗・・・。

というか手元にはそれっぽいコードがもうできちゃっているんですけど... (汗
どうしましょう...

>>82-83
ここは解決しました。どうもです。。。
parse error がいくつか。。。もうちょっとおまちください。

>>84
あれま。じゃ、おまかせしちゃおうかな。
一応仕上げてはみますが。

http://star.endless.ne.jp/users/forcount/contents/scriptmaker/read13.c
アプ

>>84
あ、僕からもよろしくお願いします。
自分、なんか足引っ張ってばっかなんで(大汗

ちょっと作業中失礼。
なんかあちこちの板が一時閉鎖中となっているんですが、どういう事情なんでしょう（汗

>>89
え、ホント？
何処の板？

閉鎖板報告
http://teri.2ch.net/test/read.cgi?bbs=accuse&key=998851283
ここをご覧下さい

>>87
いちおうmakeできたぁ。

すいませんが、もう一度
ftp://210.170.170.131/incoming/2ch-read-current/read13.c
取り直していただけますか。
ftp://210.170.170.131/incoming/2ch-read-current/Makefile.gzip
ftp://210.170.170.131/incoming/2ch-read-current/Makefile.zlib
この２つもおまけです。

>>85-86
ftp://210.170.170.131/incoming/2ch-read-current/read12.zlib-04.1.c

read.cgi 5.02 導入だからすでに導入されているpiza2 は
関係ないはず・・・と思ったけど、piza2の鉄道板閉鎖だ・・・

http://members.tripod.co.jp/jump2ch/hotaru.mid ←こんなの残ってるし・・・

http://star.endless.ne.jp/users/forcount/contents/scriptmaker/read13.c
http://star.endless.ne.jp/users/forcount/contents/scriptmaker/read12.zlib-04.1.c
http://star.endless.ne.jp/users/forcount/contents/scriptmaker/Makefile.zlib
http://star.endless.ne.jp/users/forcount/contents/scriptmaker/Makefile.gzip
総あげ

なんかread13.cの方がコードがよさげなので>>93は取り下げってことで
お願いします。

>>96
え゛
終了処理見る限り、read12.zlib-04.1.cの方がよさげなのですが(汗

>>97
いや read12.zlib-04.1.c は read12.zlib-04.c が元なので
html_error999関数とかが入っていなかったりするのです。

良いトコ取りしますか？

http://star.endless.ne.jp/users/forcount/4countbbs/scriptmaker/index.html
ほぼ一日でこれだけバージョンアップしたんですね↑

>>98
html_error999、要らないですし(^^;
その上pPrintf対応してなかったりする。。。
read12.zlib-04.1.c に html_error999 だけ pPrintf 対応にして
埋め込んであっぷするです。。。

*.datにインデックス付けるのは止めたの？
例えば*.idxにインデックスと削除フラグを管理するようにすれば、
途中のレスが削除されても、かちゅーしゃは差分読み込みを続けられると思うんだけど。

>>101
それをやるには、bbs.cgiとかあぼ〜ん処理用のスクリプトに手を入れなくてはならない。
とりあえず、今は出来ない。

あちこちでホントに板停止してるね
しかしUNIX板停止したらシャレにならないよね

739 名前：夜勤 ★ 投稿日：01/08/27 05:26 ID:???
板閉鎖は、私はやってませんよー
だから理由は知りません、

といっても、今やっていることは転送量の削減なので、
理由は、、、

　733 名前：夜勤 ★ 投稿日：01/08/27 05:17 ID:???
　>>732
　明日の午後以降　そこにおじゃまする予定でーす。
　上京にそなえて、散髪してきました。(状況報告)

「そこ」とはこのスレのことをさしているみたい。
明日って今日(27日)のこと？それとも28日？

ftp://210.170.170.131/incoming/2ch-read-current/Makefile.gzip
ftp://210.170.170.131/incoming/2ch-read-current/Makefile.zlib
ftp://210.170.170.131/incoming/2ch-read-current/read14.c
以上です。

>>104-105
うわぁ。。。

>>106
Makefileは前のままですよね？

>>106
あー、しまった! >>71 の問題が解決されていないことを言ってなかった...。

最新バージョン
http://star.endless.ne.jp/users/forcount/contents/scriptmaker/read14.c

>>106
107ちょっと違いますです。
>>108
(笑

812行目
- sprintf(doko,"../%.50s/kako/%.50/%.50.html",zz_bs,zz_soko,tmp);
+ sprintf(doko,"../%.50s/kako/%.50s/%.50s.html",zz_bs,zz_soko,tmp);

どなたか・・・(^^;

>>110
>107ちょっと違いますです。
んと、Makefile.* は両方ともちょっと違うんです。
-DZIP なんていうものを削りましたので。

http://star.endless.ne.jp/users/forcount/contents/scriptmaker/sub/Makefile.zlib
http://star.endless.ne.jp/users/forcount/contents/scriptmaker/sub/Makefile.gzip

read14.1.c 置きました。
ftp://210.170.170.131/incoming/2ch-read-current/read14.1.c
# /usr/local/bin/gzip → /bin/gzip もやった

>>113
たびたびお手数かけてます。
>>105
そろそろ、実動試験をやりたいところですね。
負荷テストはともかく、掲示板として問題無いかくらいは。

皆さん、お疲れ様です。

今朝、アスキーの西とひろゆきと切り込み隊長が来てましたね。
http://yasai.2ch.net/test/read.cgi?bbs=venture&key=998402480

どうなることやら。

http://star.endless.ne.jp/users/forcount/contents/scriptmaker/read14.1.c

それより
かちゅの不具合と
各板の停止が気になるしぃ〜

543 名前：マァヴ＠所祥寺 ★ 投稿日：01/08/27 05:39 ID:???
えーっと(^_^;)情報筋によると閉鎖は一段落だそうです。
ただ、今後も転送量の推移を見て、閉鎖が再開される可能性もあるってことで・・・・

あうー(^_^;)ロビー閉鎖はやっぱり結構ショックだわ・・・・

閉鎖板速報
http://teri.2ch.net/test/read.cgi?bbs=accuse&key=998851283&st=539&to=539&nofirst=true
さすがにこのプログラム板は閉鎖は当分免れると思われ

しかし難民閉鎖したらダメでしょう

ところで
http://star.endless.ne.jp/users/forcount/contents/scriptmaker/read14.1.c
で一段落ですかねぇ

次はちゃんとMakefileひとつにしよう(氏
zlib: と gzip: にわけて CFLAG を減らすだけだけど。
>>118
かちゅの不具合ってよく知らないです。
# 噂は目にしたのだけど
>>120
...当然とは、モ板が2つとも(泣

>>123
私はかちゅ〜しゃでずっと書き込んでるんですが
書き込むたびにエラーが・・・
多分、帰り値のエラーかと・・

>>124
bbs.cgiの問題ですか？
なんだか「書き込んでいます」みたいな画面が出るようになりましたよね。
>>122
●直すと良さそうなところ
doReplace; findSplitter; hrefStop; html_banner[New]; dat_read/out;
fread; printf; strstr;

ですが、転送量の問題には関係なさそう。
夜勤★さん待つ間にどれか実装するのもありですが、それよりは、
そろそろ read14.1.c の安定動作を確かめたく。

では夜勤さん待ちってことになりますかね

＞夜勤さん
http://star.endless.ne.jp/users/forcount/4countbbs/scriptmaker/index.html
ここに最新版があるです

いや、こう、書いたり消したり直したりで気にしてなかったんだけど。
・・・やっぱread14ってすごい番号すね(笑)。
その気になればEmacsのVersion 21(22だっけ？)を超えられるのでは。

あ"ー、 GZIP (!ZLIB)で間違えてしまいました。鬱だ...
atexitfunc() の部分を
fflush(stdout);
close(1);
waitpid(pid, NULL, 0);
にしないと(ってか前のコード何でコンパイル通ったんだ?もしかして幻想??)。

ftp://210.170.170.131/incoming/2ch-read-current/read14.2.c
に置きました。

実際のテストを始めるなら、
http://natto.2ch.net/test/read.cgi?bbs=hp&key=998774537
でやっている、htmlのスリム化の結果（途中結果）も反映して欲しい。
まだ、向こうも完全では無いみたいだけど。

http://star.endless.ne.jp/users/forcount/contents/scriptmaker/read14.2.c
再びあげときました

>>127
なんでマイナーバージョン取っ払ったかというと、read.cgiのバージョン表示を
出来るだけ短くするためだったり(笑
"read.cgi v14 010827" なんてのもいいかな。
>>128
いちおう私もチェックしたんですが、通ってましたよ(＾＾；
>>129
んと、read.cgiでどうにか出来る部分があまり多くないのと、
夜勤さんの判断を仰ぎたいのとで、もちょっとお待ちいただければと。

昨夜に比べたら
レス増えるのはマターリしてるけど
バージョンアップは激しいですね
バージョン乱立してないぶんわかりやすいけど

で、どの程度の効果があるのですか？

どこぞで言われてる
１／１６はさすがに無理だと思われ・・・

>>129
なんか、他スレを読むと traffic が削減できると勘違いして
いる人も結構いるみたいですしね…。

http://cocoa.2ch.net/test/read.cgi?bbs=unix&key=998823854&st=29&to=29
などのアイディアを実装して、現在の仕様の変更するのって
いつから始めるべきなんでしょうか?

あれねー、ごめん、口走ったの俺・・・。
相当にうまく行った例なんだろうなぁ。
なんか、劇的だった分期待はずしたリバウンドが発生して
ホントに申し訳なく思ってます。

769 名前：名無しさんの声 投稿日：01/08/27 06:15 ID:4MGIDWzk
結局、unix板の努力は無駄に終わりそうだね。

：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：
こんなこと言われると腹立ちますね

あ、ここはプログラム板でしたねぇ〜

>>137
まあ、あくまでも adhoc な手段であって根本的な解決方法じゃないから、
いつかは言われることではあるんだけどね…。

>>135
一応、トラフィックはgzip転送とIf-Modified-Sinceで
相当なところまで絞っちゃいましたからね、劇的な進歩
ってのはもうないですよね・・・・。

＃ニュース速報とか見たいな、チャット状態になるような
＃板だとIf-Modified-Sinceなんて効き目が・・・。

>>135
結構大変そう…夜勤さんはあまり厳しいこと言っていないけど、
鯖負担も考慮に入れた方がいい状態かと。
まずはデフォルト50or100レス表示を減らすのがいいかなと思います。

866 名前：マァヴ＠所祥寺 ★ 投稿日：01/08/27 06:19 ID:???
>>852
一段落です。
とりあえずこの状態でmod_gzip導入して様子みるってことで。

個人的に聞いた範囲では、ひろゆきは２ｃｈを投げてません。
あくまで悪あがきを続けるという腹は決めてるようです(^_^;)
ってわけで、この一連の一時閉鎖も、なんとかしようという姿勢の現れと思ってください。
なにはともあれ、９月に入ってどうなるかって感じですね。

>>140
ですね。html レベルでの clean up も、gzip をかけているために
tag の整理やら定型的な単語の削除では大した効果が出ませんし。

あとは、>>135 の link にあるような、掲示板の性質を利用した
traffic 削減手段しか残っていないでしょう。

>>133
今回は帯域じゃなくてCPU負荷の軽減だから「サーバが軽くなる」位ではないかと思われ。
HTML or HTTP 的な変更はそんなにないはず。もうmod_gzip以外に「劇的な」帯域の減少は
ないかと。

>>137
無駄に終わったとしても自分は楽しめたのでそれはそれでいいのでは、と自分は思います。
こんな巨大なサイトのコードを触る機会なんてめったにないし。

>>140 >>141
でも、まぁこのまま指くわえてるのはどうかと思うんで
せめて、出来る事でもやっときましょうや
マターリ出来る日を夢見て（藁

>>140
通信技術板では、Proxy (Web Accelarator) による解決策を考えている模様。
http://mentai.2ch.net/test/read.cgi?bbs=network&key=998697428

あとは、小泉首相じゃないけどある程度の「痛み」を伴わないと
だめなのかもしれないですね。

・板の統廃合
・「最新レス」の数の減少
・「レスを全部読む」の厳しい制限

・・・という感じで。

>>146
ハードウェア資源は揃いそうですが、はたして2chのProxyを置かせてくれる
ネットワークがどれほどあるか。。。
でも、楽しそうですね。

みんなそれぞれのホームグラウンド（？）で頑張ってるんですね
ホームグラウンドがモナー板やラーメン板の私は
さすがにラーメンやAAで２ｃｈのために働くのは無理だと思って
UNIX板来たわけですけど・・・

うむ、いままでになく一致団結してる２ちゃんねらーはｶｺｲｲ

>>141
それとっととやってよ。頼むから。

index2.htmlに表示されるスレッド５個（レス8行×8レス程度）に縮小したり、
当面はテレホだけでなく24時間、全レスじゃなく100レスずつ表示出来ないように規制したり。

ということで、自分はそろそろ仮眠に入ります。
ひとまずおやすみなさいませ。
ftpサーバーは立ち上げっぱなしにしておきます。

＞ALL
お疲れ様でした！

私もホームグラウンドはモ板＆法律相談＆批判要望＆削除議論（＾＾；
技術系の板は初めてです。
削除ガイドがああだこうだと書いていた日が懐かしい。。。

さて、転送量軽減策以外の >>125 に列挙したような最適化、どうしましょうか。
煮詰まってるものとそうでないものをわけたいですが、いまいちわかりません。

>>150
read.cgiで読んだときの最上部「最新１００レス」は、read14.2.c では
「最新100レス」になりました。これを50とか30にするのは効果的だと
思いますが、やはり夜勤さんの判断を仰ぎたく。
index2.html あたりからのリンクは、ここではどうしようもないです。。。
誰に頼めばいいのかな？

>>151
私もそろそろ。。。お疲れさまでした。
早起きの方、実装に熟しているコードがあったら指摘の程お願いしますです。

>>153
>>30 に bbs.cgi については
http://teri.2ch.net/test/read.cgi?bbs=accuse&key=998808733
とかあったので、とりあえずそのスレを覗いてみては?

さて私も仮眠とりますかね
後は夜勤さんに
http://star.endless.ne.jp/users/forcount/4countbbs/scriptmaker/index.html
の最新バージョンを使ってもらうのを待ちましょう

>>156
ですね。>>142 にとりあえずこれで様子見とのことですし…。
休日だというのに2日連続で徹夜に近いから、すんげ〜眠いや…。

仕事が忙しいんでご無沙汰してました。Perlerです。

ちょっと全部読む暇がないんで、既出だったらすみませんが。。。

転送量の問題ですが、index2.htmを直接読み出すのを止めて
CGI化、CGIからAccept-Encoding:をみてindex2.htmとindex2.htmlを
振り分けて出力するようにしてはどうでしょうか?

そうすれば非gzip対応ブラウザでの文字化けの問題もクリアできますし、
リロード時にキャッシュを生かす事ができます。

現在の所、index2.htmはLast-Modifiedを吐いていないようですし、
If-Modified-Sinceの効果はかなりあったと思われますので
転送量の多寡で言えば、HTMLの最適化やglibの導入よりも、
この部分の対応が最優先課題ではないでしょうか?

作業中の方もおられると思いますが、ご検討お願いします。

>>153
夜勤さんだって権限ないんじゃない？
ひろゆき氏出てくるまでうやむやにするつもりでしょ？
あんたら政治家みたいだな。

「最新100」にしてもいいんじゃない？厨房だって分かるよ。

一応作ってみました。

ftp://210.170.170.131/incoming/perler/index2.c

です。CGIが置かれてるディレクトリのindex2.htmとindex2.htmlを
読み込む簡単なものですが。。。今は時間がないので出来るのは
このくらいです。

最終的には、例えばindex2.cgiというファイル名なら、

http://xx.2ch.net/test/index2.cgi/unix/

という感じで、path_info使うと便利なんじゃないかと思ったりします。

>>158
寝る前に…。

それは read.cgi では対処不能 & mod_gzip の導入で
簡単に解決するような。

ＤｏｌＢａｃｋｙさんじゃないかな？＞bbs.cgi管理。

>>161
新しくcgi設置するのは問題ないと思ったんですが。。。

mod_gzipが導入されるまでの急場しのぎです。
これを実現させれば、mod_gzipの実際の効果も測定できるので、結果次第では早めに別の
対策も取れるのではないかと。

ところで、index2.htmがLast-modified: を出力していないのはなぜ?

Ｄｏｌｂａｃｋｙさんは
閉鎖板報告 ２
http://teri.2ch.net/test/read.cgi?bbs=accuse&key=998861605
ここにいるみたい

寝る前に最後。
# index2.html の担当は誰なのか、わからずじまい。。。
>>158
お疲れさまです。
そうなのですが、誰に頼めばいいのやら。。。
ま、ここ読んでくれるかもしれないですしね。
ご検討お願いします＞どなたか
>>159
read.cgiについては夜勤さんでいいのかなと思っているのですが、
もしものときは
「板に戻る」「レス全部」「最新50」
とかにしちゃおっかな。

つうか、Perlerさんのスキルだったら、bbs.cくらい、ソースなしでも書けちゃうでしょ？
もちろん、お仕事とかで忙しくて・・・てのはおありでしょうけど。

>>165
ＤｏｌＢａｃｋｙさんが、今のところ露出しているbbs.cの作業者さんぽいですね
実際に書いていると言われている方は、削除忍さんとトオルさんだそうですけど。

さすがに限界、これで最後。

>>163
あ、このスレ的には read.cgi が main でしたから。
確かに traffic については mod_gzip の予行演習として
いいですね。

もっとも、access 数の多い index2.html が cgi で
毎回生成されるので、server 負荷上昇 -> access 数減
-> traffic 減少となり、あまりよい test にはならない
可能性があります。

>>166
私はもともとPerlが専門でしてC言語は素人ですので、
とりあえず動くものなら作れるとは思いますが、あまり
綺麗なものは作れないかもしれないです。コーディングもかなり遅いですし。

>>168
お疲れ様です。。。
負荷がどのくらい上がるかですよね。ただ、ソース見て分かるように、
read.cgiに比べれば微々たる負荷だとは思いますが。

>>169
出来るだけすばらしいです。
私はＰｅｒｌとプロマネが本業なので、評価しかお手伝いできませんでした。

>>169
ちょっとどうでもいいことですが、同ディレクトリにあるindex2.htm[l]の
ファイル名は #define で自由に設定できた方がいいかな、と。
index2.htm が実は index.cgi で、実体は index3.htm[l] だったりする
方が、現環境と互換性があるかなと思いまして。
・・・ああ、なんかわかりにくい説明だ（＾＾；

そもそも、ApacheからのCGI起動そのものが負荷を食うそうな
だからindex2.htm 読み出しをcgi経由にすれば負荷はかなり増える

まぁ転送量には代えられないから、mod_gzip導入までの
緊急措置には使えるけど、問題はそれを管理側が導入してくれるのかどうかですね

>>171
いえ、よくわかります

ああ、書き換えたい。全部書き換えたい。
readもbbsも管理スクリプトも含めて。

>>174
ですね。
私も実体さらしてもいいから(笑)、書き換えたい気分ですよ。
でも、Ｃだと書けない。
スケーリングと評価しかできないのが歯がゆいです

２ちゃんねる系列の掲示板って
bbs.cgi もコピーして作ってるんですよね。

bbs.cgi ２ちゃん系列から貰えないかな。

固定値やＨＴＭＬ
はヘッダーで定義して欲しいよな。

http://teri.2ch.net/test/read.cgi?bbs=accuse&key=998861605&st=197&to=197&nofirst=true

197 名前：元＠削除管理委員長 ★ 投稿日：01/08/27 07:23 ID:???
>>182
bbs.cgiは多分公開されることはないです。
これは以前からのひろゆきさんの方針ですから（この状況ですからどうなるか判りませんが）
ただ、UNIX板等、専門板でのアドバイスは大変参考になっているみたいです。

ついでに、私はすでに管理側と言えない立場にあります。
状況を鑑みて、老体に鞭打ってしゃしゃり出てきてるだけです(^_^;)

>>176
古い流出スクリプトらしいのは持ってますけど．．．

>>171
分かります。その通りだと思います。

なにぶん時間がなかったので、定数を埋め込みまくったまま
ほったらかしです。すみません。

>>180は私です。
今日は夕方くらいまで作業は無理っぽいので、すみませんが
定数の括りだしのあたりは皆さんでお願いします。

>>173 >>180
意味が伝わっただけでもほっとしております。ぺこぺこ。

>>178
ってことらしいですので、一方的に提示しておくのが最善ですかねぇ。

あっちのスレにここを宣伝してこよっと。
>>181
ほんとうにお疲れさまです。

>>179
自己レス
良く見たらJBBSのみたいでした

>>183
おつかれ〜。またね〜。

発端の時からここにいて、ずっと匿名でしたけど、もうこんな状態ですし、コテハン出していきます。
>181
お疲れです〜
>182-184
bbs.cgiは出せないと思いますよ。
それに、こっちで勝手に作った方が早いし、その方が結局ひろゆきさんも助かるのだと思います。

とにかく、index2.htmのせいで、爆発的にリロード増えているわけですから。
あれやめないと、正確な帯域使用量測れませんよね？

ってか *.htm{,l}が Last-Modified を吐かないのは .html{,l} が
server-parsed になってしまっているためと思われ
　　<Files ~ "index.ht(m|ml)$">
　　Options -Includes
　　</Files>
で吐くようになると思うけど　ただhttpd.confでOptionsがAllowOverrideに
なってないとダメか？

出来そうな方、いっぱいらっしゃいますね。
深刻な状況なので、一刻も早く「実行」お願いします。

とりあえず、プログラム技術板の住人がやることは無くなった
って事っすね。

弐ch編者のところでスクリプト配布してますよ。

Mega BBSですけど
http://www.megabbs.com/

>>191
そこは参考にならないよ。perlだし、内容も、その……だし。

別板建ててbbs.cgiの要求仕様だしでもやりますか？
それとも、このあたりでいったん、一件落着しますか？

オレ　数年前に掲示板のCGI自作したことがあって　その時当初
投稿者名・日付・本文等を全部JavaScriptの文字列で定義しちゃって
document.write()で書き出す（URLの自動リンクもJavaScriptでやる）
ってな感じで作ったことがあるんだけど......でも　自分のとこの環境だと
ちゃんと動くのに　実際に公開して動かしてみるとちゃんと見られないという人が
出てきてしまって......どうも古いブラウザだとJavaScriptの実装がクソだったり
するみたいで　それは結局やめて普通にプログラム側でHTML出力するように
したということがあったけど

まぁ当時に比べれば古いブラウザの利用者はかなり少なくなってるだろうから
今ならその手でそこそこ行けるかも知れないけど　でもブラウザの種類／
バージョン／プラットフォーム等によって微妙にJavaScriptの実装が
違ってたりして　それをちゃんとfixさせるのも結構大変なんだけどね

もし仮にこれでやればタグなんかはJavaScriptで生成させればいいから
その分テキスト量が減るだろうけど　でもJavaScriptを扱えないブラウザの
ユーザには結構つらくなってしまうかも......

ヘッダとフッタとバナーがハードコーティングってのはかっこわるい
から別ファイルにするってのはどう？

>>195
かっこわるいけど、負荷を低くするためには仕方ない。

136 名前：　 ：01/08/27 08:24 ID:DS3JKGwc
閲覧用ブラウザつくって、<2ch>ってタグが反映されるようにして、
転送量を減らすって無理かな。サーバーにはdatみたいなものだけを保
存するってことで。

>197 専用ブラウザ化ですね、すでにかちゅ〜しゃ等がそんな感じで

Javaアプレットを埋め込んで完全専用ブラウザからのアクセスのみ
にするってことはどうなんでしょうか？アプレット動かせないような
環境の人が切り捨てられちゃうでしょうが・・・

フレームだけ事前にダウンロードして専用ブラウザに組み込み、スレタイトル
リストだけ拾うようにしたら、転送量減らないですかねー。素人なんで
詳しいことはわからないですが。

>>196
CPUとかI/Oの負荷は問題になってないんだろ？

>>200
それは誰も問題にしていないでしょう？
きっと、数byteでも、数百万アクセス積もれば大きな節約になるって発想だと思いますけど？

>>201
いやだから俺が言いたかったのは、CPUやIOが問題にならないんなら、
ヘッダやフッタは別ファイルにした方がスマートだし、その部分だけ
書き換えたときも再コンパイル不要じゃんって話

>>192
２ｃｈもbbs.cgiはPerlではないの？
昨日（だったかな?）に頂いた流出もののやつはPerlでした。

ソースをさっくり見ましたが、キャップとかの情報がそのまま
羅列されてるので公開しづらいんぢゃないかなぁ。
そこ削れば公開しても問題なさそうなものですけどね。
（色々隠し機能があるとかなのかなぁ）

>>203
なんと、キャップはハードコーディングだったのか
これで新規に書き換えるbbs.cgiにはそれが必要だな。
あとはトリップも必要か。

IDはどうなってるんだ？IPアドレスをハッシュか？

>>160
AgentのAccect-Encodingによる送出ファイル振り分けなら
わざわざCGIでやらなくてもmod_negotiationで簡単に出来ますよね。
Baseモジュールですし。

>200
別に今回の問題に限って言っているわけでは無いのだよ。
今回の問題に限って言うなら、ファイルを分割して、もし転送量が減るなら、
それもいいかもしれないけどね。

＞ヘッダやフッタは別ファイルにした方がスマートだし、その部分だけ
＞書き換えたときも再コンパイル不要じゃんって話
それは、「どっちをとるか」の話。もちろん、＞別ファイルにした方がスマート云々
ってのには同意するけど、手間をとるか、負荷をとるか、は運営側の判断。で手間を
取ったのでしょう。

>203
＞２ｃｈもbbs.cgiはPerlではないの？
そうなの？知らなかった。read.cgiがcだから、てっきりbbs.cgiもcだと思っていた。

>>205
問題は夜勤にはモジュールを組み込む権限がないってこと
mod_gzipだってまだ組み込まれてないし。。。

そんな夜勤がbig-server側の窓口ってのもちょっとね

webPG板からです、あの皆さん各地で立ってる避難所で使われてる
スクリプトをご存知ないですか?（17BBSって言ってますが）
本人さんが宣伝を非常に嫌がってる様子なんですが
事態が事態なんで無責任に書きます
I/Fは勿論、トリップ、ID他殆ど今の2chと同じです、機能はほぼ実装済み
TOP20をいつもウロウロしてるスレなんで、見に来ればすぐにわかります

>>204
トリップは不明。
IDについては、

$ cat crypt.pl
my ($ip, $day) = @ARGV;
$ip = substr($ip, 8);
my $pass = crypt($ip * $ip, sprintf('%02d', $day));
print substr($pass, -8), "\n";

$ perl crypt.pl xxxxxxxx0.116 27
P7yLS.2Q

という感じ。
（どっかの板でアルゴリズム公開されてました。場所覚えてないですが）

＞手間をとるか、負荷をとるか、は運営側の判断。で手間を
＞取ったのでしょう。
ん？負荷を取ったのか？
「手間をかけても負荷を軽減する方を取ったのでしょう。」に訂正。

Cで焼き直すなら 叩き台にはなると思います
所謂流失版を改良したものです

>>207
だから、mod_negotiationはBaseモジュールだよ、標準。
AllowOverrideされてれば.htaccessでいじれるし。
問題はAllowOverrideされてるか・・・

bbs.cgi はPerlの方が良いのではないかなぁ。
Cだとセキュリティホールになりやすいし。
（実際あった or まだあるみたいですし。
　どっかの板のAD200XのスレでIMGタグを書き込んだりされてました。）

流出版ってキャップのパスもハードコーディングみたいだね。
さすがに試してみたら駄目みたいだったけど。

>>188
> ってか *.htm{,l}が Last-Modified を吐かないのは .html{,l} が
> server-parsed になってしまっているためと思われ

なるほど。
では、ここをなんとかするだけで相当のトラフィックが節減できると思いますが、
いかがでしょうか?

とりあえず、http://xx.2ch.net/xx/index2.cgi てな形で設置してみて、
bbs.cgiとread.cgiを変更してhttp://xx.2ch.net/xx/index2.htmへのリンクを
index2.cgiに変更して、効果を測定してみる事を提案します。

切れるならserver-parsedを切るだけでかなり効果がありそうな気がするけど。

とりあえず、現在の懸念事項は流量軽減なんで、その他の開発
に関してはスレッドを分けませんか?

優先事項(回線負荷軽減)と、後回しで構わない事項
(ハード側負荷軽減、スクリプトの細かいバグ取り)
を明確にしないと、最優先事項が見えにくくなって重要な開発が後手に回る
可能性があると思うのですが。

流出版ってどっかにアップできませんか？
もちろん、そのキャップのパスとかは伏せてでいいんですけど。
要求仕様が作りやすくなるので。

なんか話がごちゃ混ぜになっているようだが

ファイル分割して転送というのは
「connectionが増えるのは論外」でガイシュツ。
但しレイアウト変更をもって総合的に転送料を押さえる方法も
議論されてるのでテスト次第でトレードオフという所か。

ソース管理としてファイル分割なら
read.cgiはロードモジュールなので
運用時の負荷とは無関係。

こんなかんじか？

>>213
Cだとセキュリティホールになりやすいってのは根拠レス。
# まあ、Perlは書いた人にしかわけのわからんコードになりやすいから、
# 解析する気が起きないってのはあるかもな

とりあえず流出版を見せてくれい。あるいは>>208の17BBSとやらへの
リンクをきぼんぬ

いっそApacheのモジュールとして実装しちゃおうか（藁）

あと、話が混乱するので、誰かbbs.cgi検討スレ建ててください。

>>193
打ち切りじゃ何も解決しないよ。
前向きな前者希望。

もう書いちゃえ
http://corn.2ch.net/test/read.cgi?bbs=php&key=998794497

トリップとID生成ルーチンは2日前の時点では追従していた（同じだった）
と思います。
後、人の事は言えませんがこっちも 穴埋めのダメ出しはなるべくperl見れる人
でやった方が良いと思います

１7さん見てないかなあぁ、、他力本願
僕も時間は有るのでバク取りには、協力させてもらいます

>>203
配付された人には動いてほしいっす。

はいよ


http://mankomankomanko.virtualave.net/bbs.txt
http://mankomankomanko.virtualave.net/config.txt
http://mankomankomanko.virtualave.net/make.txt
http://mankomankomanko.virtualave.net/pageview.txt
http://mankomankomanko.virtualave.net/pass.txt
http://mankomankomanko.virtualave.net/read.txt
http://mankomankomanko.virtualave.net/remake.txt
http://mankomankomanko.virtualave.net/setting.txt


17スクリプト
http://www.apc.7777.net/file/bbs2ch/16a.zip

わぁ。。。１７さん有難う御座います
勝手に紹介しちゃってすみません　（＿ ＿）

そういや、chunkedエンコーディングって手つかずか？
あれも微妙に転送料増やすはず。
Content-Length吐かせる必要があると思うが。

仮眠から帰ってきました。

もし作業場所が必要でしたら、例によってftp用意してますので
ご自由にお使いください。

ftp://210.170.170.131/incoming/

書き直しをたくらんでる方々にアドバイスしとくけど、
zlib使うんだったら、エンコーディングは
gzip使うよりもdeflate使った方が、
すこしだけ転送サイズが縮みます。
寝込みは忘れたけどIEは理解できるはず。

2chのApacheにはmod_perlが入ってないみたいなんだけど。
使うことのないsslやらphpは入ってるけど。
サーバの構成かえちゃいけないんだっけ？
mod_sslとPHPを外してmod_gzipとmod_perlをいれたい・・・

>>215も私です。おっちょこちょいですみません。

Content-Length吐かせる必要があるなら、メモリにgzipの結果を溜め込むか/tmp/
あたりに一旦ファイルをスプールさせる必要がありそうですね。。。
負荷が全く問題にならないのであれば、gzipを、1回目はサイズのカウント専用に起動
して、Content-Lengthヘッダ出してから、もう一回gzipを起動するというアクロバットも考えられますが。

>229 調べてみました

IE5.5: HTTP_ACCEPT_ENCODING = gzip, deflate
NN3.3:　なし
NN4.73: HTTP_ACCEPT_ENCODING = gzip
NN6.1: HTTP_ACCEPT_ENCODING = gzip,deflate,compress,identity

しらべたとこhttp://piza2.2ch.net/test/check.cgi

zlibのコメント見るとmethodは現在Z_DEFLATEDしかないと書いてあるけど
これってgzip不可でdeflateのみ可ってこと？

deflateがあればzlib
deflateがなくてgzipがあればgzip起動
その他はそのまま

ってことですか

>>232
Opera 4.01 : HTTP_ACCEPT_ENCODING = deflate, gzip, x-gzip, identity, *;q=0

>>231
現状の標準出力に垂れ流すんでなくて、
内部でgzipを実行して、Lengthと圧縮結果を吐くように改造するとか。

>>233
gzio.cみれば分かると思うけど、。
zlibに特殊な初期化を施して、gzipのヘッダをつければいい。

IEはヘッダにはAccept-Encoding: gzip, deflateと含めているにも
関わらず、実際にdeflateでエンコードしたデータを喰わせても
解釈できないです。

index2ををアップしました。

ftp://210.170.170.131/incoming/perler/index2.c.1

index2.c.1は何度か上書きしてるので、ダウンロードした人も
ファイルサイズ比較して確認してください。

私の環境では動いていますが検証をお願いします。

あれ？それって、mod_negotiation(標準モジュール)つかえば、
負荷も少なくていいね、って話になってなかった？

不具合報告ココでいいよね？(汗)
＞208 名前：名無しさんの声 投稿日：01/08/27 11:11 ID:yk7J4mpk
＞なんか掲示板おかしくない？
＞11〜3時まで読み込めませんってのが今出てきた
＞！＝と＝＝を間違えてないでしょうか？(苦笑)
＞板はココ
＞http://ton.2ch.net/test/read.cgi?bbs=sec&key=998320408

サーバー側負荷軽減はこっちでもやってるみたいです。
http://www.gedoh.org/aki/2ch/wiki/yukiwiki.cgi?mycmd=read&mypage=TopPage

現状では回線負荷軽減の方が優先かもしれないですが…。

>>240
AllowOverrideされてるかどうか確かじゃない。
それと、index2.cはIf-Modified-Sinceに対応してる。
というか、そっちの方が肝心。

>>241
がいしゅつです。read.cgiが入れ替われば直ります。
ついでに不具合報告は板違い。

feof()でエラーチェックは無しですか >index.c.1

>>242
サーバー側負荷は余裕があるそうですし、gzip対応しても負荷はほとんど変わらなかった
みたいですからね。。。
サーバー負荷は負荷軽くしても、2chの危機にはあまり貢献出来ないのかもしれない。

>>243
> AllowOverrideされてるかどうか確かじゃない。
それは確かにそうだけど、

> それと、index2.cはIf-Modified-Sinceに対応してる。
> というか、そっちの方が肝心。
もしindex2.html の Server-parsedを切れるならLast-Modified 吐きますよね。
これは 2ch側で設定したんじゃないかな？
デフォルトで .htm[l] 全てをパースさせて.htaccessでoverrideさせない
サーバなんて考えにくいです。

本格的な転送量縮小をするにはbbs.cgiを改造しないと・・・

bbs.cgiはセキュリティ上の問題から、多分公開されないと思います

>>247
その通りなんですが、後々「Overrideできませんでした。。。」となってから
慌てて実装するよりは、今のうちから保険かけといた方が良くないでしょうか?

read.cへのIf-Modified-Sinceの実装も、mod_gzipで代用できるじゃん、
とか言われながら作った経緯があるんで。。。

>>250
そりゃそうです。
作っておくことに異存はないです。
いや、243を見てOverrideできてもLast-Modifiedの問題は
解決しないと言ってるように見えたんで。
誤解かもしれないけど一応っていう感じでした。

では、飯食ってこよ。

>>249
>>178
管理側の見解
>>225
流出スクリプト・１７さんによる改造（書き直し）

>>238 そうダったのか、なんてこったい、ファック!

>>251
了解です。
動作検証してみた人はまだいませんか?
>>250
read.cへのContent-Encoding: gzipの実装だな。書き間違いです。

>>240 そだね〜
後学のために解説しておくと、
mod_negotiation有効になってるのであれば、
GET /index.html
Accept-Encoding: gzip
のリクエストに対し、
index.html.gzがあったら、
Content-Type: text/html
Content-Encoding: gzip
で200を返してくれる、のだ。

もちろん、GET / に対して、index.html.gz が
返るようになる。(もちろん設定変更してたら
この限りではないので、突っ込み煽り大歓迎)

つまり、さしあたっては、./index2.html.gz を配置して
様子を見て貰いたいんだが…
ln -s index2.htm index2.html.gz してもらえると。
(本来は逆だ…)

>>255
一時期はindex.html.gzだったけどダメだったよ
index.htmlがあるとindex.html.*は見に行かない仕様みたい＞mod_negotiation

read14.2からHTML部分をヘッダに追い出したものを作って
　ftp://210.170.170.131/incoming/2ch-read-current/read14.2.1.c
　ftp://210.170.170.131/incoming/2ch-read-current/r2chhtml.h
置いときました。

>>256
当然、そう設定しなきゃ見に行きませんよ。
.htaccessなり、httpd.confなりで

>>258
デフォルトでそうなってるはずだけど
汎用サーバなんでしょ?

>>258 あーそうだった。
漏れも設定ちょっといじった記憶があった。
フォローさんくすー。

それから「たとえ設定してあっても」index.htmlがあると
index.html.*は見に行かない。見に行くのはindex.html
がない場合のみ。

ガイシュツだったらすまんが、クッキーの処理を
CGIの方でやればJAVAScriptの分だけ削れると思うがどうだろ？

せっかくindex2でCGIを通すんだからそれもいいかもね。
MacでCookieが保存されない不具合も解消できるだろうし。

コレもガイシュツかな？
mail欄をやめて上げ下げ専用のチェックにすれば
mail欄分、削れるのでは？

どーせメール欄とかメールリンクなんて役にたってないんだしさ。
<a href="mailto:sage "></a>この部分が減るだけでもそこそこ効果あるかと。

さげなら名前を斜体にするとか。

メール欄わりと使われてますよ
ねたバレをメール欄に書いておいて知りたい人だけ読むようにするとか

新しいリンク方法を提案します．
これなら，かなりリンクの消費バイト数を減らせると思うのですが，いかがでしょ？

基本的に，数字は62進数になおします．
これで，3843 記事目までは2桁で表記できます．

スレ全体の指定は
http://piza2.2ch.net/test/read.cgi?bbs=tech&key=998845501
http://piza2.2ch.net/test/read.cgi?bbs=tech&key=998845501&st=4&to=4&nofirst=true
http://piza2.2ch.net/test/read.cgi?bbs=tech&key=998845501&st=4&to=6&nofirst=true
http://piza2.2ch.net/test/read.cgi?bbs=tech&key=998845501&ls=50
http://piza2.2ch.net/test/read.cgi?bbs=tech&key=998845501&to=100
http://piza2.2ch.net/test/read.cgi?bbs=tech&key=998845501&st=101&to=200
http://piza2.2ch.net/read.cgi/tech/998845501/1d,3e

このように , で区切る．
0 の場合は省略可能．

bbs.cgi対応も必要ですが，以前の方式と新しい方式両方をサポートするようにしていて，
旧形式でリクエストが来たら新方式にLocationで飛ばすようにすれば，
read.cgi側だけで強引に対応できると思います．

a href=read.cgi?bbs=tech&key=998845501&st=4&to=4&nofirst=true
から
a href=4
なので，そのくらいしても削減したほうがよいのではないかと．

無限ちゃんねるへようこそ
http://pesuo.hypermart.net/kkk/index2.html

最後に，10進数<->62進数変換のソース．


#include <stdio.h>
#include <stdlib.h>

#define CHARLIST "0123456789ABCDEFGHIJKLMNOPQRSTUVWXYZabcdefghijklmnopqrstuvwxyz"
#define CHARLEN 62

int from62table[128] = {
0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0,
0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0,
0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0,
0, 1, 2, 3, 4, 5, 6, 7, 8, 9, 0, 0, 0, 0, 0, 0,
0, 10, 11, 12, 13, 14, 15, 16, 17, 18, 19, 20, 21, 22, 23, 24,
25, 26, 27, 28, 29, 30, 31, 32, 33, 34, 35, 0, 0, 0, 0, 0,
0, 36, 37, 38, 39, 40, 41, 42, 43, 44, 45, 46, 47, 48, 49, 50,
51, 52, 53, 54, 55, 56, 57, 58, 59, 60, 61, 0, 0, 0, 0, 0
};

char *to62(int num)
{
char *dst;
char *p;
char tmp;
int len;
int i;

dst = malloc(6 + 1); /* 62^6 = 0xD398ED040 */
if(!dst) {
exit(1);
}

p = dst;
while(num)
{
*p++ = CHARLIST[num % CHARLEN];
num /= CHARLEN;
}

len = strlen(dst);
for(i = 0; i < len/2; i++)
{
tmp = dst[i];
dst[i] = dst[len - i - 1];
dst[len - i - 1] = tmp;
}

return dst;
}

int from62(char *numstr) {
int num = 0;

while(*numstr)
{
num *= CHARLEN;
num += from62table[*numstr & 0x7f];
numstr++;
}

return num;
}

int main(int argc, char *argv[])
{

if(argc != 2) {
fprintf(stderr, "usgae: %s 123\n\n", argv[0]);
exit(0);
}

printf("%s\n", to62(atoi(argv[1])));
printf("%d\n", from62(to62(atoi(argv[1]))));
exit(0);
}

>>267
LocationよりBASE hrefで新方式のパスを指定してそのまま出力したほうが
よくありませんか? リダイレクトするとリクエストの回数が2倍になるので。
しかしよく思いつくなあ。

>>266
PATH_INFOはいい案ですね。
62進法は、ドットとアンダースコア辺りを足して、64進数の方が6ビットずつ取り出す
だけなんで、計算が簡単な気がする。

>>271
確かにそうですね．(^^;
そちらの方向の方が良さそうです．

■掲示板に戻る■ がindex2.htmlなんだけど、gzip受け付ける奴には
index2.htmを渡したほうがいいじゃない。
圧縮されてるのは、htmの方だよね。

>>272
dotは範囲指定と被るから別の記号で

62進数は手動指定がほとんど不可能になるんでちょっとやりすぎな
気がします。
冗長性が少なくなる分圧縮が効きにくくなるので圧縮を掛ければ
ほとんど変わらないのでは。
あと、「.」と「-」の意味を入れ替えることを提案します。
>>4-6のリンクは「4-6」であるほうが直感的に分かりやすいでしょう。

範囲指定はハイフンを使った方がわかりやすくていいですね。
そうなると最新記事の記号を変えなくちゃいけませんが、 "+" でどうでしょう？

+だとエンコーディングでスペースになっちまわねえかい？

URIのパス部に利用可能な文字をフルに活用して、
・数字の場合は10進数として解釈
・それ以外は「_!~*'();:@&=+$」と英字を利用した64進数として解釈
とか…。
欠点は同じ内容を表すURIがやたらに増加することですが。
>>278
デコードするのはHTTPDではなくてCGIですからデコードしなければいいと思われ

1-10　　　　　 　1から10まで表示
3,5,7　　　　　　3,5,7番を表示
1-5,50,100-110　　1から5までと50と100から110まで表示
$10　　　　　　　最後の10レス表示
1-5,10,$20　　　　1から5までと10と最後の20レス表示

こんなんでどう？

>>276
とりあえずこのスレで62進変換だけやると，
108166 8月 27 14:34 tech.html
107234 8月 27 13:43 tech2.html
28523 8月 27 14:34 tech.html.gz
28468 8月 27 13:43 tech2.html.gz
こんな感じ．
tech2の方が62進です．

たしかに，大きな変化は無いかもしれませんね．

とりあえず，keyの方は62進なり64進なり
しちゃって良いと思います．こちらはコピペで使うと思うので(^^;

現在の「>>番号」によるリンクをdatに埋め込む方式だと、
index2からの場合とread.cgiからの場合で異なる相対パスを
参照しなくてはなりませんが、それの対策はどうなっている
のでしょうか? bbs.cgiにdat埋め込みをやめてもらう?

>>282
datへのリンク埋め込みをやめてもらうのが
よいのでは．．．
リンクはツールがはればよいことですし，
dat直読みの転送量も減らせますしね．

read.cgi側では，リンクが張ってあっても張ってなくても，
>>xxx を見てリンクを張り直すようにすれば
良いのではないでしょうか．

すみません、ここ２日＋半日の作業の反動で、めちゃめちゃ具合悪いです。
さっきまで寝込んでて、まだ具合が回復しないんで、さらに寝込みモードに入ります。
サーバーは立ち上げっぱなしにしておくので、どうぞお使いください。

拡張子が.cgiじゃなくなると、ロボットのクロールの対象に
なって、ロボットからのアクセス量が半端じゃなく増加する
可能性もありますが…。

>>285
それはrobots.txtで制限。

かちゅーしゃが、アボーン時.dat全部読み直すケースですが、
アボーンされた番号を別ファイルで持つってのはだめですか？
別ファイルを読み込んで、かちゅーしゃ側でアボーン処理する

>>287
それをするぐらいなら、前の方にも話が出ているけど、
各レスの位置を記録したインデックスファイルを作る方が、
いいと思う。というか、bbs.cgiに絡む話だよ。bbs.cgiは公開
されないから、手の出しようが無い。

>>287
ってか　datファイル中の指定された記事番号の行だけ返すCGI作るってのも
いいかも

>>289
その案に賛成。その方法なら途中からでもgzip圧縮したものが取得できる。
欠点は透明あぼーんがあっても検出できないこと

2chサーバ上のCGIは、HTMLを返さず、
XML-RPC でリクエストを受け付けるというのはどうでしょう。

データ転送量、処理ともに軽くなるのでは。

>>288
インデックスファイルだと新規レスでも更新されちゃいませんか？
アボーン時に更新されるファイルだと、その時だけの読み込みができると思う

そういうブラウザで見ることをまったく考えない話題ならこっちでは
http://piza2.2ch.net/test/read.cgi?bbs=tech&key=990334284

293は>>291です。

>>293
失敬、似スレがすでにありましたか。
そっち行きます。

>>292
インデックスファイルってのは、現行のread.cgiではls=1でも全てのdatを読み込んでから
処理をする、という無駄な処理を回避したい、というのがある。インデックスファイルは
基本的にかちゅ〜しゃ等の専用UAからはアクセスさせずに、read.cgiからのみ使用する
様にして、専用UAは>>289氏が提案したcgiを介して新規レスを取得するようにすれば
良いのではないか。
>>290
透明あぼ〜んは、問題だあ。datの各行の先頭（末尾でもいいや）に連番でも埋め込めな
いかなあ。dat取得時に検出できるように。

今は突貫工事が一段落着いたから
夜勤さん待ちって事ですか？

>>296
インデックスの件了解しましたマシン負荷の話だったのですね
ただ>>289氏のcgi案でもアボーンしたレスをUAが取り込めないのではないでしょうか？

>>298
UA内部に既に取り込んでしまったあぼ〜んを検出できないってのは
その通りだなあ。そこはユーザに自主的にツール内であぼ〜んして
もらうとか……ダメか。

>>299
ad hoc な対策としては、どの記事があぼ〜んされたのかを知らせる cgi を
作るっていうのはあるかな?

個人的には、いったん自分の掌中に入った情報を、
2chの勝手な都合でこちらまで消して欲しくない、
というのが本音なのだが（ｗ

>>194 で書いたのはイメージ的にはこんな感じ　手抜きして書いたのでツッコミは勘弁(w
functionの定義なんかは別の.jsファイルにしておけば　Last-Modifiedを吐いてくれれば
*.jsを何回もリロードすることはないと思うけど......


var firstNo = 100; // ページ内の最初の記事番号

function formatContent(string) {
　// '\n'を"<br>"にしたり">>nnn"やURLをリンク化させたりする
}

function Articles_write(n) {
　document.write("<dt>"+n+"名前：<font color=green><b>"+this.name+"</b></font>"
　　+"投稿日："+this.date+" ID:"+this.id
　　+"<dd>"+formatContent(this.content)+"<br><br>\n");
}

function Articles(name, email, date, id, content) {
　this.name = name;
　this.email = email;
　this.date = date;
　this.id = id;
　this.content = content;
}

Articles.prototype.write = Articles_write;

var articles = new Array(
　new Articles("ななしさん", "", "01/08/27 15:30, "abcdef", "本文でーす"),
　new Articles("ななしさん2", "", "01/08/27 15:35", "ghijk", "本文でーすよ"),
　　　:
new Articles("ななしさんn", "", "01/08/27 15:55", "zyxwv", "本文でーすよん")
);

　　:

for (var i = 0; i < articles.length; i++) articles[i].write(firstNo+i);

現在ツール側がやっているあぼーん検出をCGIにやらせるという案を
考えてみました。
・ツールはCGIから受け取ったログの長さを合算して、現在の取得サイ
　ズを覚えておく。
・差分取得のときは、開始レス番号と終了レス番号に加えて現在の
　取得サイズを一緒に渡す。
・CGI側で現在の取得サイズを調べ、現在の取得サイズの1バイト前が
　改行でなかったらあぼーんが発生したとみなし、全レスを返す。
・現在の取得サイズはあぼーんの検出にのみ使い、あぼーんされてい
　なかったら指定された範囲のレスを返す。

>>303
・CGI側で現在の取得サイズを調べ、現在の取得サイズの1バイト前が
　改行でなかったらあぼーんが発生したとみなし、全レスを返す。

それだと偶然改行があるとミスするから、渡されたサイズと
一つ前の番号のレスが終了している場所が一致しているかど
うか、ぐらいはやってもいいんじゃないかな。

それでも偶然の一致の可能性は残るが。

あぼーん問題。
あぼーん処理は、マーキングするだけにすれば、
.datは増えていくことはあっても縮んだりすることは
ないので、mmap()とかで処理がやりやすいんだけどねー。
もちろんあぼーんマーキングには、時刻(time_t)を
入れとくのです。
段階的にあぼーん処理を変更してくことって、
できないかしら?

個人情報なんかの理由であぼーんされるときには、
ログ上から完全に消す必要があるから、他で消す
ようにするのは不可能では？

むしろあぼーん情報を取得させて、専用ソフト側で
ローカルなログとのあぼーん同期処理をするとか。

>>305
あぼ〜ん処理を、「あぼ〜ん」と置き換えるのではなく、特定の文字、
それもキーボードから入力できない文字（たとえば0xffとか）で上書き
するってのはどうだろう？
そうすればdatは単調増加を保証する事が出来る。

あ、過去ログのあぼ〜ん検出は、考えてません。（藁

もういっちょ。自己レス
＞上書きするってのはどうだろう？
同じ長さだけ、上書きって事ね。

>>307 それでいいとおもう。
実際の改造手順としては。
0) あぼーん新仕様の提示、決定
1) read.cgiに新仕様を実装
2) あぼーんツール(?)を新仕様に従って改変
3) この時点で.datの半固定レコード化が決定される
4) ｳﾏｰ

仕様に要求されるもの
・ログの保全。証拠隠滅のため、レコードを塗りつぶす必要蟻。
・消去した時刻を保管。L-Mを吐くために必要。time_tに準ずる情報で構わない。

>>306
外からの access 不能な dat file を用意しておいて、
access 可能な dat file はその file それから生成するようにする
っていう手もあるかな。

キーボードから入れられない文字列である必要はないのではないかな。
マーク付けを利用して、
"+本文でーす。" −あぼーん→ "-〓〓〓〓〓〓"
みたいな感じで。

ついでにあぼーん時に発言同様に末尾にレコード追加できれば
差分取得ツールでもあぼーんに気づけるね。

>>313 それいいね。

ところで、各鯖のストレージ容量は
問題ないんでしょか? ファイルをいくつか
書き出してもいいのであれば、
問題解決に対するいい案がある。
(inodeサイズも問題か…?)

となると、datファイルは以下のようになるのだろうか。

+名無しさん<>sage <>01/06/13 21:26<>暴露しろや、ｺﾞﾙｧ
-##########<>#####<>##############<>###########
+名無しさん<>sage <>01/06/13 21:36<>↑削除依頼出しときました。
*2
+名無しさん<>sage <>01/06/13 21:46<>お、早速あぼーんされてる

（+ 通常のレス / - あぼーんフラグ / *あぼーんしたレス番号）
差分取得cgiが3-4を取得する場合は、３行目から３行を返す。

>>307
単に半角スペースが良いのでは？

>>316 日時のところ、削除日時にすると、
いろんな処理が融通利くと思われ。

>>318
だね。

あと、マークだけど、行頭の+とか-でせずとも、現在使用している
セパレータ<>は最初の<しか見てないみたいだから、最初のセパレータ
を<-とか<*とかする事で判別できるかもしれない。

>>317
それだと、名前欄とかに半角スペースを入れられたときに誤作動しないかなあ
と思ったの。もちろんマークにするなら、何でもいいよ。

転送量の増加って、いま急に始まったことじゃないんでしょ?
どうしてここにきて取りざたされてるの?

名無しさん<>sage <>01/06/13 21:26<>暴露しろや、ｺﾞﾙｧ <>
##########<-#####<>998845501#####<>########### <>
名無しさん<>sage <>01/06/13 21:36<>↑削除依頼出しときました。 <>
2<*<><><>
名無しさん<>sage <>01/06/13 21:46<>お、早速あぼーんされてる <>

こんな感じかな。

>>321
4行目のほうにも同じ削除日時があると、ツールでいちいち取りに行かなくてもよさげ。

あぼーんの新仕様を提示して受け入れられるとは限らないから
従来フォーマットでなんとかする方法も検討しておいたほうが
よくない?

>>320
サーバー管理者が増加ペースを見誤るほどだったらしい

>>319
自己レス、セパレータはちゃんと二文字目の'>'も見てた。失礼。
でも、これはread.cのちょっとした変更で対応可能だ。

>>320
なんと回線の帯域使用料金が従量制だから。

>>326
それは、非常に普通の事だと思うんだけど、BigServer側から
ひろゆきの方へ、ちゃんと伝わってなかったの？

>>327
まさか。
もうずっと話し合ってたけど、事が露呈したのは、26日に夜勤さんがスレで暴露、というか音を上げて、read.c公開したからだよ。
それまでずっと、「雑談系板つぶす」って言ってたんだけど。

>>321
透明アボーンも対応するなら、別な文字も割り振っとこうよ'%'とか

>328
ちょっと日にち間違ったけど、まぁそんな理由。
　

>325
現時点ではHTMLのタグがdatに埋め込まれているので
'<'のみでは判別不可能です。

>>331
そだね。すっかり忘れてたよ。バカだなあ＞おれ
<* とか <% とかだったら大丈夫？かな？

>>329 透明あぼーんのことすっかり忘れてたYO

>329
漏れも忘れてた。
でも、この方法で行くなら、透明あぼーんは別のマークを使うなどして、
read.cgiで処理しなきゃ仕方がないよね。
（コテハンにします。）

>>331 .datの中に埋め込まれる'<' '>' (< >ニ非ズ)は、
bbs.cgiのみが生成していて、
'<>'というシーケンスが他に現れないなら…
「最新レスnn」の処理はbinary search+αに
最適化できそうだなー。
番号指定はlinear searchじゃないとダメか…

実際Linuxの場合、mmapされたファイルはたいてい
ページキャッシュに残留してる…ことが期待されるんで、
無理にlinear searchを避けることもないかな。

>>335 (< >ニ非ズ)
＆ｇｔ； ＆ｌｔ； って書いたつもりだったのに、
そのまま取り込まれちゃったよ…鬱だ

ほんとに夜勤さん待ちなの？

http://cocoa.2ch.net/test/read.cgi?bbs=unix&key=998764722

か、新しいスレで議論したいと思うのですが如何でしょうか?

ソースについては、幾つかのバグを潰した後公開します。

>>338
新しいスレに賛成です

http://piza2.2ch.net/test/read.cgi?bbs=musicx&key=998676619&ls=100

IEのキャッシュが問題になっていますがもう織りこみ済ですか？

スレに書き込んだ人を特定する方法が、

ハンドルネーム
ID
キャップ
トリップ
fusianasan

e-mail

こんなに必要だとは思えません。
どれかを削るなり、この部分のシステムをシェイプアップすることはできませんか。

>>341
それはひろゆきに聞くべきでしょう

read.cgiは塗りつぶしでいいとして、UA用に>>300が必要じゃないかな
UA側は１回/日とかで>>300を読んでアボーン処理を行うとか

>343
一応、>316の方法で、新規レス取得時にあぼーんを検出出来るように
考えているつもりなのだが。

頭ががdiff出力として解釈してた（恥
スマソ>>344

>>344 漏れは使ってない(ほっとぞぬ)ので
わからんのだが、新しいフォーマット導入したとき
かちゅーしゃ互換にできるだろーか?
それがちょっと心配。
まー切り捨てるってのは考えられるけど(ｗ
あぼーんを塗りつぶす、まではかちゅーしゃとかでも
見ることができるんではないかと。

みなさんお疲れさまです。
>>338
かなり規模の大きい話になってきましたから、「当然のこと」をきちんとまとめて、
各部を各スレに明示的に分散させると良いと思います。
・read.cgi最適化（従来との互換性を保ちつつ、新仕様の実装＆バグとり）
・bbs.cgiの改善案
・bbs.cgiの作成？
・P2P-cacheの作成
大まかにわけるとこんなところですが、P2P-cacheの内部ではさらに分化もある
でしょう。
で、とにかく、各セクションが絶対に守るべき仕様を、まとめて掲げておくべき
だというのが、最もいいたいことです。
もしくは、最重点セクション以外は議論を凍結してしまった方が、むしろ
よいかもしれません（混乱を防ぐため）。
どうでしょうか。まとめてみますので、みなさんがよろしければ提示しますです。

>>339
タイトルとかどうしましょうか?
「キャッシュ型負荷分散システム開発スレッド」とかでいいかな?

作成もどなたかにお願いしたいのですが。。。

>346
それはもう、ツール制作者さんに対応して貰うしかない。
ある程度早めに仕様を公開して、その間に対応をして貰う。
そのためには、なるべく現行の仕様から逸脱しない様に、
しなきゃならない。
まあ、それもこれも、運営側がなんと言うかにかかってるけど。

>>620
現在でも、キャッシュとサーバー上のデータが同じなら、リロードされても
何も送らないような仕様になっています。
10秒ごとに新規書き込みされない限り、同じことですので大丈夫だと思います。

もっと値を大きく、1度読み込まれたら5分はリロードできない、という風にすると
劇的に回線負荷は減るかもしれません。

その前に、index2.htmの負荷(キャッシュに対応していない)をなんとかする
必要がありますが。。。

>>350
http://cocoa.2ch.net/test/read.cgi?bbs=unix&key=998764722
と、スレを間違えて書き込んでしまいました。。。
無視してくださいませ。

>>348
tech板でいいですか？よければこちらで建ててしまいますが。。。

二日連続夜更かしで昼夜逆天誅
寝てる間にバージョンアップしてますね
夜は娘さん、昼間はPerlerさん
おつかれさまです
例のごとくミラーリンク
http://star.endless.ne.jp/users/forcount/contents/scriptmaker/read14.2.1.c
http://star.endless.ne.jp/users/forcount/contents/scriptmaker/index2.c
http://star.endless.ne.jp/users/forcount/contents/scriptmaker/index2.c.1

古いバージョンは
http://star.endless.ne.jp/users/forcount/4countbbs/scriptmaker/index.html
（↑必要ないですけどね）

>>348 >>352
どうやら
http://cocoa.2ch.net/test/read.cgi?bbs=unix&key=998764722&ls=50
こちらで話が進展しているようですので、新スレではなく↑でつづけて
よろしいのでは。。。
誘導はスレ立てておこないますから。

>>352
板の選定はお任せします。
立ててしまってください。宜しくお願いします。

>>355
たてました。
あとの各話題の誘導などはおまかせください。。。

>>356

http://cocoa.2ch.net/test/read.cgi?bbs=unix&key=998908154
「キャッシュ型負荷分散システム開発スレッド」

です。

＞353
r2chhtml.hもお願い〜

わかりました

http://star.endless.ne.jp/users/forcount/contents/scriptmaker/r2chhtml.h

●２ちゃんねる開発統合スレッド（連絡用）
http://piza2.2ch.net/test/read.cgi?bbs=tech&key=998908559&ls=20

●キャッシュ型負荷分散システム開発スレッド
http://cocoa.2ch.net/test/read.cgi?bbs=unix&key=998908154&ls=20
（この話題についての情報）
　http://piza2.2ch.net/test/read.cgi?bbs=tech&key=990334284&ls=20
　http://piza2.2ch.net/test/read.cgi?bbs=tech&key=998845501&ls=20

●動作報告・障害報告スレッド
http://teri.2ch.net/test/read.cgi?bbs=accuse&key=998808733&ls=20

●２ちゃんねるWiki（全体にわたる参照事項です）
http://www.gedoh.org/aki/2ch/wiki/yukiwiki.cgi?TopPage

まだここで話してもいいのかな？

dat_readがとにかく効率悪いのは分かったけど
これを改善するにはdatの仕様から変えないとだめすね。

これまで改造したread.cgiはもうリリースされたの？
次期read.cgi（つーか次期2chの基本仕様）はどこで話すの？

>>362
えっと、read.cgiに関しては全部ここのつもりですが、
当面は、現在のread.cgi各部（各関数）の機能は変えずに、
最適化を目指し、同時に、互換性を保ちつつ、次世代read.cgiの
機能も取り込んでいくことになると思います。
#ifdef でコンパイル時に選択肢を残しつつ。

http://cocoa.2ch.net/test/read.cgi?bbs=unix&key=998908154
でも言ったんですけど
read.cgiに差分送信機能をつけれないですかね

>>364
サーバーをProxy型にして、resumeっぽくふるまえばよいのかな。
If-rangeあたりにも対応。。。
あぼーんのときはresumeさせなければよい。
。。。gzip圧縮させたときも問題なく振る舞うかどうかは知りませんが。

>>364
数時間ほど前、まさにその話をしていたんですが。
過去ログをどうぞ、あぼーん機能を含めて、大体仕様は固まっています。
（と、思う。もちろん、改良の余地はいっぱいあります。）
これに、インデックスの機能が付けられたら、現行のdatファイル（と似た
仕様）を使う場合、結構いいところまで行くと思うのですが

>>365
つづき。
やっぱり、一般のブラウザはファイルサイズを見て差分転送にするかどうかを
決めているはずですから、cgiで動的に圧縮かける場合、できあがったgzip
ファイルに膠着性(?)がないこともあって、難しいような気がします。

あ、もちろん、bbs.cgiなど、関連スクリプトもまとめて変更できる場合の話です。
次世代？の話になります。

>>368
んと、bbs.cgiや.datファイルへの要求仕様を明確にすれば、read.cgiの方で
（現在との互換性を保ちつつ）先に実装しちゃうってのは、ありだと思います。
まだ理解しきっていないので過去ログ読んできます。

Ｐ２Ｐキャッシュ＋差分問い合わせ化が
次世代２ｃｈとしては最も好ましいと思うのですが
Big-serverがそれを容認するでしょうか
２ｃｈにも耐えられるという宣伝効果が事実上無くなるというか
耐えれなかったからＰ２Ｐ化したとして
Big-serverの宣伝としては逆効果なわけで・・・

まず、現在のbbs.cgiがなにやってるかのフローチャートを作りましょうか。
新たな機能を加えるにしても、今何やってるか正確に分析しないことには
話になりませんし。
ドンドン話進めちゃってください。

２ちゃんのCGI達が何をやってるかをフローチャートにしたら
何か良い案が出るかもしてませんね
お願いして良いですか？>>371

>>372
自信なし。。。叩き台にしてください(汗

getenv()の内容チェック
.datの容量、レス数チェック、lock
名前の長さ(0<i<?),e-mailの長さ(0<=i<?),age&sage,本文のデータ量等チェック
.datに追加、lock解除
index2.htmlのlock,書き換え

二重書き込みチェック、連続投稿チェックもあるなぁ。
どの順でチェックしているのかはよくわからないです。

>>225
の流出スクリプト（？）を元になんか出来ませんかねぇ

この辺も参考になるかな?
　http://teri.2ch.net/test/read.cgi?bbs=saku&key=996761078&st=129&to=132&nofirst=true

よく考えたらＰ２Ｐキャッシュ化って削除関連が難しそうですよね
いくら本家サーバーで削除しても潜在的に大量の
未あぼーんデーターが全国に散らばってるんですからねぇ〜

マルチポスト失礼。
開発シーンをもっと明確にした方が良いと思います。
１）現行システムを夜勤さんとともに向上させる
２）ひろゆきさん達が参加するような、bbs.cgiも含めた改善案
３）２ちゃんねる類似の新システム開発
いまは、上記が混然としすぎています。

>>377
2ch.netから全国のピアキャッシュに削除トランザクションをフィード。
ピアキャッシュリストの履歴管理が大変かな…

>>377
そうですねぇ。

bbs.cgiがなにやってるか（それぞれがひとつの関数かな、と）
ID計算が前に来るような気もする。。。

10．zz_GetEnv()っぽいことをする
20．refererやremote_hostなどをみて、不正な場合は排除する
30．名前、e-mail、本文欄をチェックし、不正な場合は排除する
40．cookieをみて、不正な書き込みを排除する
50．連続投稿を排除する
60．書き込もうとする.datをチェックする。
61．.datが大きすぎる場合、レス数が1000overの時排除
62．二重書き込みを排除
63．.datをlock
70．書き込み内容の特殊文字を変換する、HTMLタグを挿入する
71．キャップ、トリップ、IDの計算
72．.datに書き込み、lock解除
80．age,sage判別
81．index2.html更新

http://star.endless.ne.jp/users/forcount/contents/scriptmaker/read14.2.2.c
http://star.endless.ne.jp/users/forcount/contents/scriptmaker/Makefile.14.2.2
http://star.endless.ne.jp/users/forcount/contents/scriptmaker/r2chhtml.14.2.2.h
http://star.endless.ne.jp/users/forcount/contents/scriptmaker/util_date.c
http://star.endless.ne.jp/users/forcount/contents/scriptmaker/util_date.14.2.2.h

全て上げておきました
http://star.endless.ne.jp/users/forcount/4countbbs/scriptmaker/index.html

>>378
統合スレッドの方でレスしておきますね。
>>380
そういえば、キャップがあると連続投稿規制かからないとかいう噂も。。。
どうかみなさん、バシバシつついてください。
スレ立ての場合のフローなども。。。
その後、bbs.cgi自作しちゃいますか？
キャップなどの一覧はヘッダなり外部ファイルなりに追い込んで。

完全Ｐ２Ｐってのは掲示板のシステムとしては
少し難しいのかもしれませんね
特に削除という面においては・・・

そうなると、固定キャッシュサーバーが有力ですかね
Big-serverの事も配慮すると固定キャッシュサーバーは
２ｃｈで有志を募るという形にしないとマズイですね

もしくはＰ２Ｐキャッシュを暗号化してしまう
（つまり消せない未アボーンデータを見れなくしてしまう）

subback.htmlの更新も81に入るかな?

バージョン４の時のread.cもそうでしたけど
現状のbbs.cgiもつつき所が沢山ありそうですね

>>225
のデーターは本当に２ｃｈのスクリプトなんでしょうかね？
まぁ良いか・・・
これ見ながら新しいの考えてみましょうか

夕方頃に話していたことを、まとめてみました。

次世代？2ch .datとread.cgi、その他関連ファイルの仕様案

【要点】
・bbs.cgiがインデックスファイルを作成すること
・削除処理は、レス内容塗りつぶしで行い、datのサイズを変えないこと
・削除処理の履歴？をdatファイルに記録すること
・datそのものの差分を取得するcgiを作成すること

◎インデックスファイル
インデックスファイルは、bbs.cgiが各レス書き込み時に、書き込み後の
datファイルのサイズを記録し、レス番号と関連付ける。
たとえばレス番号nのレスを読み出したい場合は、datファイルより、
idx[n-1] 〜 idx[n] - 1 の範囲を読み出す。
ファイルフォーマットは未定。32bitバイナリのベタファイルで十分だと思う。

◎削除処理
削除スクリプトは、該当レスの内容を特定の文字（とりあえず'#'）で
塗りつぶすことで、削除処理を行う。datファイルのサイズを変更しない。
（インデックスファイルの整合性を保つため）
また、datファイル内のレスの最初のセパレータ"<>"を"<-"に変更する。
（"<-"はとりあえず）
また、datに通常のレスの形式で、削除履歴を記録する。ただし、最初の
セパレータは"<*" とする。（これもとりあえず）

例：３件書き込まれた後、２が削除、さらに１件書き込み。
----------------------------------------------------------------------
名無しさん<>sage <>01/06/13 21:26<>暴露しろや、ｺﾞﾙｧ <>
##########<-#####<>998845501#####<>########### <>
名無しさん<>sage <>01/06/13 21:36<>↑削除依頼出しときました。 <>
2<*<998845501><><>
名無しさん<>sage <>01/06/13 21:46<>お、早速あぼーんされてる <>
-----------------------------------------------------------------------

◎dat差分取得スクリプトの作成
専用UAやミラーサーバがdatファイルを取得する際に使用する。
ただし、取得する際にはdatファイル内に記録された削除履歴を含めて取得する
こと。たとえば上記のdatファイルの場合、st=3&to=4 を取得する場合、実際に
取得されるのは、３行目から５行目、「↑削除依頼」から「お、早速」まで。
また、上記のdatファイルからレス番号４のみを取得する場合は、４行目と５行
目を取得する。（削除履歴を間違いなく取得させること）
専用UAは、取得した差分datから、削除履歴をみて、既に取得しているログの
削除処理を行うこと。

◎その他
削除したレス及び削除履歴には削除日時をtime_tで記録する。（用途は今のとこ
ろ思いつかないけどとりあえず。）

>>382
というか、あっちって、見られていますか？(笑)
私が言いたいのは、いま、スレがいろいろたち始めていますが
「どのスレで、誰が、どの課題について、なにをしている」
っていう整理をした方がよい、ってことです。
読む人も、作業する人も、管理者さんたちも注意が拡散してしまいますので。

追加です。

◎read.cgiの変更点
・dat_read()ではdatファイル全部を読み込まず、インデックスファイルに基づいて
　読み込む。
・セパレータを識別し、通常のレス、削除されたレス、削除履歴を認識すること。
　削除履歴は、read.cgiないで「あぼーん」として表示するようにする。

◎問題点
・「透明あぼーん」に対応できない。セパレータ（マーク）を"<%"等として透明あぼ
　ーんと認識させることは可能。

こんなもんかなあ。他にもあったような気がするけど。思い出したら追加します。

透明あぼーんはしばらく考えないでおいたほうが・・・

>>387
やろうと思っていたのですが、今日はなかなか時間がとれなくて。
# あっちはそのためにたてたスレッドだったのですが（＾＾；
申し訳ないです。
深夜帯になったら時間がとれますので、そのころ現状のままでしたらやっておきます。
# 今は私自身もなんのこっちゃ把握していない(汗

17氏のスクリプトは流出したものではなく
>>385

>>225のスクリプトですが、自力で書かれたものと思います。

以下のスレッドの発言17が17氏です。
２ch型掲示板
http://corn.2ch.net/test/read.cgi?bbs=php&key=988816430

あぅ。。
元が流出スクリプトって書かれてましたね。
今まで勘違いしていました。

ボトルネックはCPUでもDiskI/OでもなくてNetworkI/Oなんでしょ。

インデックスで多少DiskI/Oが減ってread.cgiが軽くなっても
トラフィック量が変わらなきゃしょうがないよ。

それに.datの一部やインデックスの一部が壊れただけでそのスレ崩壊しそうだ。
シンプルな実装をこころがけたいね。過度の複雑化は往々にして破綻をもたらすぞ。

とりあえず gzip の圧縮レベル上げるとかしたらどう？CPUまだ余裕あるんでしょ

あのー、キャップのパスワードから、初期のスクリプトに間違い無いとの噂を
聞きましたが･･･

夜勤★さん近況
http://teri.2ch.net/test/read.cgi?bbs=accuse&key=998903558&st=94&to=94&nofirst=true

一日猶予が与えられたので、もうちょっと実装しましょうか。

read.cgiに限っていえば、
・NetworkI/Oを減らせるのならCPUもDiskI/Oもかなり犠牲にしてよい
・その上で、CPUとDiskI/Oにもやさしく（安定性はあるに越したこと無い）
・それらが全部終わったら、.datやbbs.cgiにも対応を求めるような開発をはじめる
で、どうですか？＞all

そうすると、Web板での修正のうち、比較的手のかからないものをread.cgiに
取り込み始めたほうがいいですかね?

>>393
最新版(ver14.x)ではすでに圧縮レベルを最大にするように設定しています...
# あ、でもzlibを使用した場合だけだ...

というか、このスレでは「read.cgi」＝夜勤さん、集中でいいと思います。
ほかのbbs.cgi系の話などはスレを分けるべきですし。

>>396 それなら「出力バッファリングしてContent-Length吐き出し」やりませう

>>397
read14.2.1.c & r2chhtml.h では、HTMLタグ類はほとんど(99%以上)、
r2chhtml.h の方に押し込められています。
ですから、read14.2.1.c の方には手を加えずに、軽量化を図ることが
できます！とても便利。
Web板の方に r2chhtml.h の軽量化はまかせちゃいましょうか？
# あまりカリカリに軽量化されてもまずいかもですが。

>393
うん、これは言われるだろうと思っていた。（ごめん）
確かにNetwork負荷の事は考えていない。元々は、「かちゅーしゃが、あぼーん
されたレスを含むスレを読み込むとき、全部再読み込みしちゃうけど、何とかな
らないか？」と言うところから始まった話だから、全然考えていない訳でも無い
んだけど、そのためだけに、となると、コストが高すぎるのは承知。
あくまでも現状の話ではなく、その先の話だと思ってください。スレ違いというの
なら、すまぬ。将来的には、read.cgiの負荷を減らすのは、いずれやらなければ
ならない作業だとは思う。
datファイルの堅牢性の件だけど、そんなに低いとは思っていない。基本的にフ
ァイル更新は追記のみだし、削除処理にしてもファイルのサイズを変えないよう
に、インデックスとの整合性を崩さないように配慮しているつもりなのだが。もちろん、
現行のdatのシンプルさにはかないっこないし、堅牢性劣るだろうけど。でも、read.cgi
の負荷を減らそうと思えば、インデックスファイルを導入しなければならないのは、
必然だと思う。

しかし、スレ違いだな。>399さん、ごめん。ここまで書いたから、これだけ書き込みます。
つか、仕事に戻ろう。（明後日納期だったりする。）

>>398
gzip の場合もそうしましょう。
>>399
bbs.cgi 系のスレ、私はスレ立てすぎで立てられないんです(泣
立てていただけませんか？

>1 に書くべきリンクはおおむね以下の通りです（Web板も書くべきかも）。

●２ちゃんねる開発統合スレッド（連絡用スレッド）
http://piza2.2ch.net/test/read.cgi?bbs=tech&key=998908559&ls=20

●キャッシュ型負荷分散システム開発スレッド
http://cocoa.2ch.net/test/read.cgi?bbs=unix&key=998908154&ls=20
　◆キャッシュ型負荷分散システムの概観
　http://piza2.2ch.net/test/read.cgi?bbs=tech&key=990334284&ls=20

●プログラマが2chを救う！？２（read.cgi開発スレッド）
http://piza2.2ch.net/test/read.cgi?bbs=tech&key=998845501&ls=20

●2chの動作報告はここで。（動作報告・障害報告スレッド）
http://teri.2ch.net/test/read.cgi?bbs=accuse&key=998808733&ls=20

●２ちゃんねるWikiとTiki（全体にわたる参照事項です）
http://www.gedoh.org/aki/2ch/wiki/yukiwiki.cgi?TopPage
http://www.gedoh.org/aki/2ch/tiki/

◆各種ソースコード最新版
http://star.endless.ne.jp/users/forcount/4countbbs/scriptmaker/index.html

>>401
そうですね。
あと、向こうはCになれてない人も多そうなので、
もう少し説明書きを足しといた方がいいと思うけど、
書き足したほうがいい項目って何があるかな?

Web板での開発スレッドは
http://natto.2ch.net/test/read.cgi?bbs=hp&key=998774537&ls=20
ですが、そろそろ新スレ移行しそう。。。

で、ヘッダファイルはあちらに任せていいんですかねぇ。

>>404
うーん。完成品を１つだけ作ろうとせず、何段階かつくってもらえると安心かな。
あと、CSSやCookieに頼らず、.hだけで完結的になるようにお願いしないと。。。

# Makefileの一部分、read2ch.hに移そう。。。

そろそろ解放される・・・

>>400
Content-Length吐き出しについて
>>227 >>231 >>236
っと。。。検討お願いします。

>>386
>>316の方が単純でイイと思う

>>386 いろいろ考えたんだが、
あぼーんの時間は、time_tを整数にしたものを
書き込む必要はないかも。
むしろ、既発言が使用しているフォーマットで
書いてくれても…
というのは、元々のdatファイルには、発言時刻の
秒フィールドがないのね。だから無意味。
といっても、秒単位で時間を取得することは、
Last-Modifiedの精度を上げるためにも必要なことで…

以下、bbs.cgiへの要望および仕様改良への段取り
0) bbs.cgiに、秒フィールドも書き出してもらうようにしてもらう。
1) read.cgiが秒まで扱うように改変。
2) read.cgiがunix時間も扱えるように改変。
3) bbs.cgiに、時間フィールドをunix時間で吐いてもらうようにする。
4) ｳﾏｰ

漏れは、曜日フィールド復活きぼーんぬ派。
過去ログ読むときに、曜日があった方が、
読んでる実感が湧くから(ｗ

web板か迷ったんだけど
50レスを超えるスレで、st=1と同等のことをすると書き込みフォームを
抑止すればブラウザ組の全スレ読み込みが減るのではないかな？

ついでに、E-mail欄とかにシングルクォーテーションを入れてカキコすると
返ってきた画面がエライことになるのも対応して欲しいかも。

>>409 あと、.dat取得系と互換を取るためには、
・とりあえず各フィールドにはshift jisで「あぼーん」文字列を入れておく
・残ったフィールドはwhitespaceで塗りつぶす
でいいんではないかと。(もちろんこれはbbs.cgi要対応)

…あぼーん判定をどうしよう(ｗ
名前・mailtoともに「あぼーん」だったらあぼーんと見なし、
カキコの際に、双方とも「あぼーん」であるものを
カキコできないようにすればいいかな?

123

>>412
むしろ、書き込み時間があぼーんで判断しないと・・・
名前、mailのあぼーんは、誰でも出来るので。

>412
＞・とりあえず各フィールドにはshift jisで「あぼーん」文字列を入れておく
それは、名前とかメール欄とか、フィールドの長さが足りない場合にdatの
長さが変わる場合があるから。

>408
今の専用ブラウザを変更するときに、どっちが大変か、によると思う。
なるべく現行のフォーマットを崩さない、を念頭に置いてる。

とりあえず、今はこのスレで別の作業が進行中なので、このくらいで。（仕事しろよ＞おれ）

bbs.cgi 専用のスレッド、立てることが出来ました。
http://piza2.2ch.net/test/read.cgi?bbs=tech&key=998921988&ls=20
こちらです。どうぞ。

＞409
投稿日時のフィールドって

01/08/27 23:19 ID:ihlstQzQ

みたいに IDも含まれちゃってますけど、これを

998921988 ID:ihlstQzQ

って感じにするんでしょうか

今最新版はread14.2.2.cだよね？
簡単に直せそうな変な所と今まで指摘されていた場所を再掲。

BadAccess()のテーブル内(新しい方、214-)
オリジナルに従うと、こうなるはず？
-　"WebFetch?",
+ #ifdef Katjusha_Beta_kisei
+ 　"Katjusha",
+ #endif
+ 　"WebFetch",

dat_read()のケツ(567-)
- for (i = 0; i < zz_fileSize; i++) {
- if (BigBuffer[i] == '\0')
- 　BigBuffer[i] = '*';
- }
+ i = strlen(BigBuffer);
+ while (i < zz_fileSize) {
+ 　BigBuffer[i] = '*';
+ 　i += strlen(BigBuffer + i);
+ }

atexitfunc()(710-)
全体を
#ifdef GZIP
#endif
で囲んでくれ(コンパイルエラー)

main()の中盤(786-)
コピペの残りだから要らないはず
- #ifdef DEBUG
- 　sprintf(fname, "998695422.dat");
- #endif
- 　zz_fileSize = getFileSize(fname);

その他
IsBusy2ch()が、レスを１つparseする度に呼ばれているので、
main()でzz_GetEnv()を呼んだ直後辺りで一度呼んで、
結果はグローバル変数なりに保存して欲しい。
(後述するルーチン内部でもレス毎に呼んでいるので無駄)

とりあえず、レスを全部読むのデバッグ版を夜勤さんに入れてもらわないとダメじゃないの？

それから、>>nnのリンクをカットするルーチンを作ってみた。
他にも、<br>後の空白と<br>の前の空白(さらに直前がSJIS1バイト目じゃない場合)
をカットしたり、連続した空白をまとめたりした(タブはやってない)。
このスレのレスが304までの時点のdatを使い、全て表示してみると、
約17%の削減になる。チャット状態の>>nn＋１行レスが多いスレなら、
20%は軽く超える削減になるはず。

もちろん、非圧縮のUAが３割程度しかないから、
全体で5-6%にしかならないが、試してみる価値はあると思う。
ただ、テストは今Winしか使っていないので、CygwinのGCC(結構古い)で、
ローカルのファイルをいくつか読みこんで試しただけなので、
負荷等は不明。異常系のテストもバッファが小さすぎる場合しかしていない。
TYPE_TERI以外もチェックしてない。
誰か、組みこんで、負荷でも調べてくれる人いる？
アップの仕方とか知らないから、このスレにコピペしたいんだけど。
追加は全部で200行弱程度。
インデントを全角にするのが面倒なので、つぶれると思う。

まだこのスレしか読んでないので、うざかったらごめん。

更新されたレスだけを見るリンク　をつけてみました。
stをいじるという単純な事をしているだけですが。

コンパイルや動作確認ができないため変更箇所を書いておきます。
http://211.124.231.141:81/r2chhtml.14.2.2.h_reload.txt
305〜312行

http://211.124.231.141:81/read14.2.2.c_reload.txt
491,511,515〜517,1188〜1200行

既に実装されていたら逝ってきます。

r2chhtml.hのほう14.2.2にちょっとコメント足しておきました。
　ftp://210.170.170.131/incoming/2ch-read-current/r2chhtml.14.2.3.h

バージョンがread.cとずれてごめん。

14.2.2 での変更点ってどこかで公開されてますか？

＞418,420
>>228 のftp使わせてもらうのは?

>>423 ぱっと見たとこCOOKIE周りとインデント整形みたいだけど...
インデント変えられたので、diffがまともに取れない〜

>>423
私がやったので、一応。
・-DCOOKIEで今までJavaScriptでやっていたことをCGI側でやるように。
・-DPREVENTRELOADで連続リロードできないように。
・コンパイラの警告対策。
こんなところです。

待ってるのやだったし、
どのくらい書きこめるかわかんなかったから、
前スレの最後に加えてみた。
http://piza2.2ch.net/test/read.cgi?bbs=tech&key=998736516&st=923
インデントつぶれてるし、関数ぶった切り。

あ、>>nnのカットはテレホタイムのみにしてみた。
その分、テレホタイムにCPU負荷が上がると思う。

皆様、お疲れさまです。。。
ん、んと、とりあえず、

http://piza2.2ch.net/test/read.cgi?bbs=tech&key=998736516&st=923

で、mergeが必要、と。
私まだ作業できません。人任せでごめんなさい。

なぜ誰もpserver立てようって言い出さないのか不思議。

sourceforgeとか。

>>403 >>418 >>420 マージしました。
ftp://210.170.170.131/incoming/2ch-read-current/read14.2.3.c

http://piza2.2ch.net/test/read.cgi?bbs=tech&key=998736516&st=923
の方はまだっす...
# 参照する記事が同じページ内ならブックマークで代用、とかはどうなのだろう

まちがえた。
マージしたのは 403, 418, 421 です

>>414 そこがいちばん頭の痛いところで、
.datのフォーマットを好きにいじっていいなら
あまり考えずに済むところなのです。

ID強制なのであれば、ID欄が必ず8文字
あるので、そこにあぼーん書き込めますな(ｗ

個人個人のパソコンに負荷分散させることできないのかな？
一つの板における各々の表示は一台にして、全部表示などの場合は
A君〜J君等のパーソナルPCに負荷をかけさせるようにする。
保存先もそれぞれのPCに規則を決めて、時間、アクセス場所などで振り分ける
有志は、ADSL回線以上で一つの板に１００人くらい分散すれば一気に負荷かからないのでは
ログは各々PCに貯めて、倉庫いきになったとき昼間、朝方等の人の少ない時間帯に
中央に集めバックアップ。

>>417 改めて考えてみたんだけど、
そこまですることはないかな。
秒のフィールドまで含めてもらうだけで
十分な気がしたーり。

気になったこと。
"#ifdef FORCE_304_TIME" のときは "#define LASTMOD" してあげた方が
安心かなと思います。

とりあえずsourceforgeでアカウント作ってみる。

とにかく、このスレでbbs.cgiの変更が必要なものを語るのは意味がないですね。

>>434
P2Pのスレに行ってみてください。いろいろ意見が出ていますです

中央の板では各々個人のPCスレッドが再生されるごとに
割り振られリンクされ、そこに保存される。つまり表面上は
リンクを個人のPCに貼った状態になる。
その回転規則、人数、人の信頼は定かではないと思うけど

IPアドレスの下1桁が奇数か偶数かで振り分けて10秒ごと
にどっちかだけ処理して、対象外の場合次の10秒を
待つようにしたら見かけ上の転送量が半分にならんかな。

あーなんか大変そう。
これって審査通らないとだめなのかな。

#ifdef の一覧表
GZIP　gzip圧縮で送信(ZLIB出も使う)
ZLIB　zlib圧縮で送信(自動的に"#define GZIP"される)
PREVENTRELOAD　"FORCE_304_TIME"で指定された秒、リロードに対して304を返す
LASTMOD　クライアント側ファイルの最終更新を参照して未更新の時304を返す
COOKIE　今までJavaScriptでやっていたことをCGI側でやる
NEWBA 最適化された BadAccess() をつかう
GSTR2 最適化(1文字で判定)された zz_GetString() をつかう
Katjusha_Beta_kisei
LOGLOGOUT
CM_BBSPINK
TYPE_TERI
FreeBSD
DEBUG

で、各スレッド毎にすべてみるした場合、
そのサーバーを提供している広告がでるようにすると。

>>443 PuOGwR/w スレごとに分担があるから、適当な所へ行って下さい。
あと、過去ログは全部読めとは言わないので、流れは見てください。

>>438
らじゃ

>>417
>>435
こちらに移動しましょう。
http://piza2.2ch.net/test/read.cgi?bbs=tech&key=998921988&ls=20
とはいえ、私はそろそろ寝ますけど。

今夜夜勤さんが来たら、どのソースを渡せばいいのでしょうか?
read.cgi 5.xx化はまだ完了していないようなのですが。

>>447
ftp://210.170.170.131/incoming/2ch-read-current/read14.2.3.cですかね？

>>447
>>431 かな。。。（わからない）

>>446 了解
行こう、bbs.cgi仕様に関する話題はあちらへお願いします。
http://piza2.2ch.net/test/read.cgi?bbs=tech&key=998921988&ls=20

23:00-3:00の間は全スレ読めない、の部分の修正版って、もう入っているのでしたっけ？＞read.cgi5.02
修正したりデバッグしたらバージョン番号変えませんか？
それと、表示バージョンとソースバージョンを統一しませんか？

>>451
23:00-3:00の間は全スレ読めないじゃなくて、
23:00-3:00の間は全スレ読めてしまうバグの
修正版は入っていません。

>>451
5の段階では入っていないです。
その他の部分、同意です。

r2chhtml.h >>421と>>422をマージしてあげときました。
　ftp://210.170.170.131/incoming/2ch-read-current/r2chhtml14.2.3.h
cとバージョン番号をあわせるため、前(>>422)のはr2chhtml14.2.3.h.oldに
リネームしました。

このスレでの既出事項は、

ftp://210.170.170.131/incoming/2ch-read-current/read14.2.3.c
http://piza2.2ch.net/test/read.cgi?bbs=tech&key=998736516&st=923

http://211.124.231.141:81/r2chhtml.14.2.2.h_reload.txt
ftp://210.170.170.131/incoming/2ch-read-current/r2chhtml.14.2.3.h

をそれぞれmergeすればすべて実装完了です。

その後は、かねがね言われていた doReplace() あたりを Tiki を参照して
実装、かな。。。

　ftp://210.170.170.131/incoming/2ch-read-current/r2chhtml.14.2.3.h
だった(htmlと14の間に点)。すいません...

訂正
>>455
ftp://210.170.170.131/incoming/2ch-read-current/read14.2.3.c
http://piza2.2ch.net/test/read.cgi?bbs=tech&key=998736516&st=923
をmerge。
ftp://210.170.170.131/incoming/2ch-read-current/r2chhtml14.2.3.h
はcurrent。

バージョン番号は、遠慮せずメジャーバージョンを1ずつあげて構いませんよ。
ソース内のバージョン表示は、read.cgiがHTML最下部に吐きますから、
短い方がよいです。
"read.cgi 15 00/08/27"
とかでもいいとおもいます。

ごめんなさいです。。。
>>457
ftp://210.170.170.131/incoming/2ch-read-current/read14.2.3.c
http://piza2.2ch.net/test/read.cgi?bbs=tech&key=998736516&st=923
をmerge。
ftp://210.170.170.131/incoming/2ch-read-current/r2chhtml.14.2.3.h
がcurrent。

>>442
#ifdef FreeBSD
ですが、これなくてもFreeBSDでもコンパイル通るので、
削っちゃって大丈夫です。

とりあえず
・r2chhtml.14.2.3.hでコンパイル時警告が出る(printfフォーマットの間違い等)のを修正
・-DRELOADLINK で >>421 のコードを含めるかどうかを変更可能
・>>436 で指摘されたことを反映
で、14.2.4 を作りました。
ftp://210.170.170.131/incoming/2ch-read-current/r2chhtml.14.2.4.h
ftp://210.170.170.131/incoming/2ch-read-current/read14.2.4.c
件のコードのマージはまだ。
# だれか c-mode@Emacs で C++コメントをコメントとみなす方法を教えてくれー

>>457
バージョン番号はread.cgi Build 0001とかでは駄目ですかね？

がいしゅつだったらごめん。
あのさ、テレホタイムだけ、
該当スレへのリンクを全部なくしたらどうだろう？

今は一番上に
＞ ■掲示板に戻る■ レスを全部読む 最新レス１００
があって、
テレホタイムには(バグッてるけど)一番下に
＞ 次の 100 レスを見る 最新レス１００ ○○PM - ○○AM の間・・・
ってなってると思うけど、
テレホタイムの間だけは、
−−続きがあります−−
みたいに表示するだけで、リンクを提供しないようにする。

半分要望、半分提案だけど、「前のn件」を付けた方が良くないですか？
例えば全部で100以上の書き込みがあるスレッドで、100件より前のスレッド
を読み直すには「全部表示」するか、「1-100」で100件づつ前から順に辿る
しかないワケですが、コレって無駄が多すぎません？
また「最新レスn件」の同じレスを何度も送信するオーバーヘッドを
軽視すべきでないかと。
つーわけで「前のn件」はどうでせう。

>>463
さんせー

>>460 /* -*-C++-*- */
と1行目に書くといいらしいぞ。

>>461
Buildはいらないけど、日付は欲しいですぅ。
>>462
それだと「読めないよ」って苦情がかなり来そう。
>>463
さんせー

mmapで書いてみた。
read14.2より20%ぐらいは速くなったみたい。
mmapをfreadに置き換えてもたいしてかわらないので、
アルゴリズムが要因だとうは思うけど。
ftp://210.170.170.131/incoming/x/

>>461 日付+コードネームがいいなぁ read.cgi 2001Aug28(mona)

-DPREVENTRELOAD や -DRELOADLINK あたり、外部ファイルから値を
とってくるようにしていただけないでしょうか。
板毎・季節毎に状況が違うと思いますので、夜勤★さんとかがリアルタイムで
変更できるメリットが大きいと思います。
外部ファイルは、http://xxx.2ch.net/板名/SETTING_R.TXT あたりにして、
板名は ?bbs= からとってくるということでよいかと思います。

マージ完了。でもコンパイルが通ることしかテストしてません。-DCUTRESLINK で指定。
ftp://210.170.170.131/incoming/2ch-read-current/read14.2.5.c で。

>> 465
Thx. でもインデントが GNU スタイルになってしまったので
ブチ切れてsedで全部Cスタイルコメントに変えてしまいました。

とりあえずさ、今は緊急なんだから、
IsBusy2ch()が常に1を返すようにして一段落つけて、
localhostででも、動作テストしてみるのはいかが？

read.cgi 5.02.41 とかでいいんじゃない

で、
安定版の 5.02系と
大変更版の 5.10系に分かれると(w

漏れが入手したr2chhtml.h
黒地に黒…鬱だ…

read2ch.h あたりにコメントすればいいのかな。。。

#ifdef の一覧表
GZIP　gzip圧縮で送信(ZLIB出も使う)
ZLIB　zlib圧縮で送信(自動的に"#define GZIP"される)
PREVENTRELOAD　"FORCE_304_TIME"で指定された秒、リロードに対して304を返す
LASTMOD　クライアント側ファイルの最終更新を参照して未更新の時304を返す
COOKIE　今までJavaScriptでやっていたことをCGI側でやる
NEWBA 最適化された BadAccess() をつかう
GSTR2 最適化(1文字で判定)された zz_GetString() をつかう
CUTRESLINK　指定された時間帯は >>nn のリンクをはらない
RELOADLINK　更新されたレスだけ見るボタンを設置
Katjusha_Beta_kisei
LOGLOGOUT
CM_BBSPINK
TYPE_TERI
FreeBSD　必要ないそうです・・・
DEBUG

あれ、14.2.5で-DCUTRESLINKするとすべて同じ記事が表示されてしまうぞ...。

この辺でいったんデバグ大会になりそうな予感...

インストールしてみましょうよ。

>>477
2ch.net にはインストールできないので、どなたか公開鯖で
たてていただけるとうれしいですね。
それが無理な場合は、>>471 の通りかと。

ＷＥＢ板に鯖持っている人いっぱい居たな。

コピペミスったっぽい。激しく鬱だ...。
ftp://210.170.170.131/incoming/2ch-read-current/read14.2.6.c に修正版があります。
あと 459 と前スレの 928 も直しました。

>> 478
UNIXな環境ならMakefileをとってきてmake test | w3m -T text/html とかで簡易テストが出来ます。
# http://piza2.2ch.net/tech/998845501.dat を tech/dat/998845501.dat におく必要があるけど

いちおう、批判要望で夜勤さんを呼んでみました。

最新版（と、実装待ちの案）

http://star.endless.ne.jp/users/forcount/contents/scriptmaker/Makefile.14.2.2
ftp://210.170.170.131/incoming/2ch-read-current/r2chhtml.14.2.4.h
ftp://210.170.170.131/incoming/2ch-read-current/read14.2.6.c
　案：>>407 >>>462 >>463 >>469
http://star.endless.ne.jp/users/forcount/contents/scriptmaker/util_date.c
http://star.endless.ne.jp/users/forcount/contents/scriptmaker/util_date.14.2.2.h

正直、この発言で方向性ははっきりしたようだ。

------------------------------------------------------------
無断で板を閉鎖するのは無責任
http://teri.2ch.net/test/read.cgi?bbs=accuse&key=998879305

64 名前：切込隊長 ★ 投稿日：01/08/28 00:46 ID:???　sage
>>60
　　　　　＿＿＿＿_＿
　　　 ／＿　　　　　　|
　 　 /.　＼￣￣￣￣|
　　/　　／　 ―　― |
　　|　 /　　 　-　　- |
　 ||| (6　　　　　　>　|
　| | |　　　　 ┏━┓|　　 ／￣￣￣￣￣￣￣￣￣￣￣￣￣
| | | | 　　　　┃─┃|　 ＜　正直、近日中にポツダム宣言があると思われ
|| | | | 　＼　┃　 ┃/　 　 ＼＿＿＿＿＿＿＿＿＿＿＿＿＿
| || |　|　　　￣　￣|

遅ればせながら
うちの方にも全て最新版アップし終わりました

ここですか?
迷子になってます。

>>485
お疲れ様です。ここです。

ごめんなさい。ちゃんとリンク先かかなくって

key部をa-zA-Zの52進にして縮めてみたらどうだろう
数字が含まれれば旧形式、英字が含まれれば新形式。
とりあえずread.cgiだけでもすぐに対応できる改良策ということで。

全然正常に動かないみたいなので訂正お願いしますm(_ _)m
迷惑をかけてすみません・・・。

732
-int lineLast = 0;
+int lineLast = lineMax;

758
-if (lineMax >= lineLast) {
+if (lineMax == lineLast && lineLast < RES_RED) {

どれをインストールすれば酔いのでしょうか？

http://star.endless.ne.jp/users/forcount/4countbbs/scriptmaker/index.html
最新版まとめました

どうすれば　いいのかな?
ちょっと　過去ログ追う暇ないので、、

遅ればせながら、

スレの最初から100までの時は
　[次の100レス][最新レス100]
301-400までの時は
　[全部読む][レス1-100][前の100レス][次の100レス][最新レス100]
最新レス１００の時は
　[全部読む][レス1-100][前の100レス]
ついでに総レス数でも表示されると・・
・・・かなり便利になると思う。

問題は、
「今は絶対に便利になってはいけない時」だということだ。
未だ転送量を1/3にする目処はたっていない。
便利になれば、更に気軽にクリックし、転送量は増大する。
今は、あえて不便になるようにすることはあっても、
あえて便利になるようにしてはいけない。
(実装しておくのは賛成だけど、少なくともテレホタイムには使ってはいけない)
曜日すら削られて苦情が沢山でている事を
忘れないほうがいいと思う。

というか、さっさと「投稿日:」は削っていいと思うし、
「最新レス100」だって一時期「最新レス50」だったんだから、
変えちゃっていいと思うんだが、どんなもんだろう。
・・・ごめん、今は安定版にするのが優先だね。

>>482
に、23:00-3:00までに全レス読み込もうとすると全件表示してしまうバグの修正版があります。
これを、piza2で評価していただければと思います。

681 名前：元＠削除管理委員長 ★ 投稿日：01/08/28 02:00 ID:???
明後日に予定されている話し合いがどうなるのかが見えない状況では
前提条件が不明なので、楽観視していいのか悲観視するべきなのかわからないのですが・・・・
一応現状わかっていることです。
１　すでにcgiレベルで可能な圧縮は一通り完了。
２　mod_gzipに関しては、交渉難航中（対Hurricane Electric）
２　現在ピーク転送量65Mbpsまで減少に成功。しかし依然転送量はオーバー。
４　当面、tako及び2ch.serverに速報及び雑談系を待避させて転送量を抑制する。

>>489 の修正を反映して read14.2.7.c。ここらで最終チェックして15にしませんか?
ftp://210.170.170.131/incoming/2ch-read-current/read14.2.7.c

夜勤さんにはまず豊富なオプションの内それを選択するか決めてもらわないことには...。
>>474 にコンパイルオプションの一覧があります > 夜勤さん

>>488

64進数とかで新形式でやる案が >>266-270 とその後あたりにあるので
そちらの方が良いのでは‥‥‥．

PATH_INFOへの変更はかなりサイズ縮小に繋がると思うのですが，
やっぱり実装が大変なのかな(^^;

% Cは出来るのですが時間がなくお手伝いできそうにないです(^^;

>>466
一番転送量が小さくなると思われるのを教えてください。

>>485
お疲れ様です。

現在、Web制作板でHTML部分の改良をしているのですが、デザインをどこまで変えて
良いのか、悪いのか、その問題に結論が出るのかが分からず、動きようが無い状態
です。

●既存のデザインを変えずにダイエットするスレッドは
http://natto.2ch.net/test/read.cgi?bbs=hp&key=998774537
●既存のデザインを変えて、大きく軽くするスレッド（非CSS）は
http://natto.2ch.net/test/read.cgi?bbs=hp&key=998859829
●既存のデザインを変えて、大きく軽くするスレッド（CSS）は
http://natto.2ch.net/test/read.cgi?bbs=hp&key=998851406

で議論されています。ちなみに、既存のデザインを全く変えない場合、ほとんど小さく
ならないという結論が出ています。また、用語の短縮、メニューの改良なども
http://www.gedoh.org/aki/2ch/tiki/tiki.cgi?c=v&p=html%A4%CE%BB%C5%CD%CD
に案が出ています。

ともかく、デザインをどこまで変えて良いのか、もしくはその問題にいつ結論が出る
のかを教えていただけないでしょうか？

http://star.endless.ne.jp/users/forcount/contents/scriptmaker/read14.2.7.c
アプ完了

夜勤さんへ。以下をpiza2あたりにいれていただけるとうれしいです。
http://star.endless.ne.jp/users/forcount/contents/scriptmaker/Makefile.14.2.2
ftp://210.170.170.131/incoming/2ch-read-current/r2chhtml.14.2.4.h
ftp://210.170.170.131/incoming/2ch-read-current/read14.2.7.c
http://star.endless.ne.jp/users/forcount/contents/scriptmaker/util_date.c
http://star.endless.ne.jp/users/forcount/contents/scriptmaker/util_date.14.2.2.h

>>497
PATH_INFO改造いまやってまーす♪

>>498
>>466 はとりあえず無視してくださいませ。

　案：>>407 >>>462 >>463 >>493 >>497(>>502)

あ・・・Makefileがふるい。

一応全部
http://star.endless.ne.jp/users/forcount/4countbbs/scriptmaker/index.html
にあがってます

>> 498
-DZLIB -DPREVENTRELOAD -DLASTMOD -DCOOKIE -DNEWBA -DGSTR -CUTRESLINKかな?
ただしCUTRESLINKはテレホ時間帯において>>xxx形式のリンクをすべて剥がすので非難轟々
の可能性があります。
あとソースのFORCE_304_TIMEはそれとなくいじってください。(現在は30秒)

最新スレ100とかはやめて
1-100とか101-200の様に１００ずつぶったぎるのが
いいと思うけど

>>504
現在のものをMakefile.14.2.7としてageました。
現在のデフォルトは>>506で私が提示したものです。
http://star.endless.ne.jp/users/forcount/contents/scriptmaker/Makefile.14.2.7

>>508
ぐはっ、コピペ元間違えた...
ftp://210.170.170.131/incoming/2ch-read-current/Makefile.14.2.7

混乱中。。。。。

私が一バイトたりとも変更なしで、単に　down load -> up load -> make
できるようになりませんか?

なんせ途中経過見てないので、
すんません。

ftp://210.170.170.131/incoming/
ここに新しく ディレクトリ作って、必要なファイルだけを入れてくれるとありがたいです。

>>509
大丈夫
既にアプしてます

http://star.endless.ne.jp/users/forcount/4countbbs/scriptmaker/index.html
ここに最新版をまとめてますが・・・

Content-Length吐き出しってこんな感じか......っていうかLinuxで
shm_open()とかあるか不安なんだけど......ンラ坊でｽﾏｿ
----------------------------------------------------------------------
#include <sys/mman.h>

#define SHM_NAME "/read.cgi"

int zz_tmpfd = -1; /* グローバル変数...ｽﾏｿ */

　　　:

if ((zz_tmpfd=shm_open(SHM_NAME, O_RDWR|O_CREAT, 0600)) == -1) {...} /* err */
if ((pStdout=gzdopen(dup(zz_tmpfd), "wb")) == NULL) {...} /* err */

　　　: /* pPrintf()実行 */

size_t content_length;
void *mmptr;
gzclose(pStdout); pStdout = stdout;
content_length = lseek(zz_tmpfd, 0, SEEK_END);

if ((mmptr=mmap(NULL, content_length, PROT_READ, MAP_SHARED, zz_tmpfd, 0)) == NULL) {...} /* err */
printf("Content-Length: %lu\n\n", (u_long)content_length);
write(1, mmptr, content_length);
munmap(mmptr, content_length);
----------------------------------------------------------------------
で終了処理は
if (pStdout != NULL && pStdout != stdout) gzclose(pStdout);
if (zz_tmpfd != -1) close(zz_tmpfd);
shm_unlink(SHM_NAME);

Solarisだと"LDFLAGS += -lrt"なんだけど......役に立たぬかも...

read2ch.hは空テキスト用意すればいいのかね。
あとファイル名にバージョンがついてるからそのままではmakeできんのが面倒かも。

>>506の#define内容でread2ch.hを用意しては?

piza2に入れて、動かなかったら
このスレ自体読めなくなったりして・・・
杞憂ならいいんですが

>>510
ftp://210.170.170.131/incoming/ver14/* に置きました。
私の現在の作業ディレクトリの状態をそのままコピーしたので公開されているのとは違っているかも...。
ちょっと確認してみてください > all

>>516
！！

>>517
ファイルサイズみる限りだとあってますよ

bbs.cgi って公開されてるの？
いつのまに・・・

これでお願いします。

ftp://210.170.170.131/incoming/ver14/

うまくいきますように、皆さんで祈りましょう。

>>517
行きます。 natto に、

この板無理だったらUNIX板で連絡とればいいのかな？

お、nattoですか。
お疲れさまです。＞夜勤様

いきなりバージョンが９もあがるわけですね？

ver14では、変だと思うので、ver5.1にしておきました。＜read.c

>>520
ttp://mankomankomanko.virtualave.net/bbs.txt

あ、でも表示は５．１か・・

read.c:16: zlib.h: No such file or directory
make: *** [read.cgi] Error 1

>>529
う"...。もしかしてzlib.hがない?
ls /usr/include/zlib* とかやるとどうなりますか?

/usr/include/zlib*: No such file or directory

--- orig/read.c Tue Aug 28 01:00:02 2001
+++ read.c Tue Aug 28 02:23:32 2001
@@ -46,6 +46,9 @@
char *zz_remote_host;
char *zz_http_referer;
char *zz_http_cookie;
+#ifdef USE_PATH
+char *zz_path_info;
+#endif
char *zz_query_string;
char *zz_temp;
char *zz_http_user_agent;
@@ -688,6 +691,9 @@
zz_remote_host = getenv("REMOTE_HOST");
zz_http_referer = getenv("HTTP_REFERER");
zz_http_cookie = getenv("HTTP_COOKIE");
+#ifdef USE_PATH
+ zz_path_info = getenv("PATH_INFO");
+#endif
zz_query_string = getenv("QUERY_STRING");
zz_temp = getenv("REMOTE_USER");
zz_http_user_agent = getenv("HTTP_USER_AGENT");
@@ -705,6 +711,10 @@
zz_remote_host = KARA;
if (!zz_http_referer)
zz_http_referer = KARA;
+#ifdef USE_PATH
+ if (!zz_path_info)
+ zz_path_info = KARA;
+#endif
if (!zz_query_string)
zz_query_string = KARA;
if (!zz_temp)
@@ -730,6 +740,23 @@
zz_GetString(zz_to, "to");
zz_GetString(zz_nf, "nofirst");
zz_GetString(zz_im, "imode");
+#endif
+#ifdef USE_PATH
+ if (zz_path_info[0] == '/')
+ {
+ /* PATH_INFOから、トークンを2個抜き出す */
+ char buf[48];
+ char const *b, *k;
+ strncpy(buf, zz_path_info + 1, 47);
+ buf[47] = 0;
+ b = strtok(buf, "/");
+ k = strtok(NULL, "/");
+ if (b && k)
+ {
+ strncpy(zz_bs, b, 1023);
+ strncpy(zz_ky, k, 1023);
+ }
+ }
#endif
#ifdef COOKIE
SetFormName();
--以上

あ、いきなりこけた

>>502 PATH_INFO対応、とりあえずしてみました。
/test/read.cgi?bbs=tech&key=998845501&ls=100
のようなものが、
/test/read.cgi/tech/998845501/?ls=100
と書けます。('?'の前の'/'は必須)
この改造に関して、CGIへのPATHなどを
出力してる部分を改造しなければなりませんが、
r2chhtml.hへの変更が必要なため、
とりあえず後回し、ちうこって。
(どういじればいいか、動かしてみればわかります)
↑が、めんどっちーのでdiffだ
インデント崩れてるので、がんばって取り込んでください。

zlib.h　は誰が持っているんだ？

http://www.gzip.org/zlib/
（´д｀;）

>>527
どもっす。

>>534
それってbbs.cgiの仕様変更を伴いませんか？
そちらの話はbbs.cgi改良案の方でやった方が混乱が少なくなると思います。

とりあえず -DZLIB を抜いて compile したらどうですか？

ということは、zlib が入っていない?
んー、zlib-1.1.3.tar.gz をコンパイルするという手もあるけど
どうしましょう...
これまでどおり gzip を使うのなら
read.cgi: $(SOURCES) $(INCLUDES)
　　　　　$(CC) $(CFLAGS) $(DEFS) $(DEFS_ZLIB) -o $@ $(SOURCES)
を
read.cgi: $(SOURCES) $(INCLUDES)
　　　　　$(CC) $(CFLAGS) $(DEFS) $(DEFS_GZIP) -o $@ $(SOURCES)
# DEFS_ZLIB → DEFS_GZIP
に変更してください。これまでどおりプロセスが生成されまくるのでサーバの負荷は下がりませんが...。
# しかし zlib 入っていないってある意味すごすぎるぞ

パート１に

784 名前：デフォルトの名無しさん 投稿日：01/08/27 00:58 ID:pckFEAaY
>>780
zlib なんすけど、FreeBSD-4 なら /usr/include/zlib.h のコメント読んで

>540
何が凄いの？

Linuxのパッケージで入れてて、
libz.so*はあるけどinclude fileが無い状態の気がする。

>>542
いやぁ、普通Linuxのディストリビューションなら標準で入りそうなものだから...。

runtimeとdevelopで別パッケージだったりするdistributionかな。

>>540
>>510の通りでおねがい。

>543
それなら warning 状態で compile してしまって、
link 成功すれば問題無いということかな？

今まで /bin/gzip 使ってたからなぁ。元から libz 無いんは？

>>547
zlib.hなしで無理やりコンパイルするとZ_*の定数が…

FreeBSDでソース入ってたら
/usr/src/lib/libz で make できませんか？

>>549 Linuxじゃないの？
　　echo /usr/lib/libz.so*
の結果が知りたい......

予想外の展開だ・・・

>>546
了解、ファイルを更新しました。

>>552
どこにupしましたか。
ftp://210.170.170.131/incoming/ver14/に無いようですが。

rootもってるなら、
パッケージでrpm -ivh zlib-devel*.rpm するだけなんだけど……。

rpm -q zlib
してもらって同じ奴の-devel探すとか。

>>538 bbs.cgiへの変更は、やらなくても問題なし。
今まで通りのqueryも受け付けるから。
ただ、path付加されたページ中のURLは
書き換えて回らないといけなく、そのためには
r2chhtml.hともに変更が必要。
それらの作業も請け負って構いませんよ。

最終的に、bbs.cgiなどを、path仕様に合わせて
書き直すと…ほっとぞぬがつかえなくなるなきっと(鬱
というわけで、bbs.cgiの変更があってメリットが
生きると思われ。

こまかいが、fread() -> read() のほうが buffer に読まないので。

@@ -768,8 +768,7 @@
/****************************************************************/
int dat_read()
{
- int i;
- FILE *fp;
+ int i, in;
char fname[1024];

sprintf(fname, "../%.256s/dat/%.256s.dat", zz_bs, zz_ky);
@@ -806,13 +805,13 @@
if (!BigBuffer)
html_error("メモリの確保に失敗しました。");

- fp = fopen(fname, "r");
- if (!fp) {
+ in = open(fname, O_RDONLY);
+ if (in < 0) {
html_error("そんな板orスレッドないです。");
return 0;
}
- fread(BigBuffer, zz_fileSize, 1, fp);
- fclose(fp);
+ read(in, BigBuffer, zz_fileSize);
+ close(in);
i = strlen(BigBuffer);
while(i < zz_fileSize) {
BigBuffer[i] = '*';

>>553
ファイル名はそのまま(Makefile)で、内容を変更。混乱させてゴメソ。

echo /usr/lib/libz.so*
/usr/lib/libz.so*

# 皆さんの案は、レス番号をまとめておりますのでご安心下さい。。。
# nattoでの実験が終わり次第、一覧として提示します。。。

>>550 あ、そうなんですか、スマソ
>>541を見てそっちなのかなと

どっちにしても>>536にあるソースから
make一発でいけそうですが(甘いか？)

>>558
あれ、シェルのファイル展開が効かない? ls /usr/lib/libz.so*ならどうでしょう。
# バージョンが一致すればインクルードファイルを提供することが出来るけど...

＞夜勤★さん

root になれるなら、
rpm -q zlib
していただけますか？

root になれません。ごめんね、

zlibは後回しでとりあえずgzip版で行きましょうよ。
>>552の通りです。再度incomingディレクトリをGET
してください＞夜勤さん

困ったぞぉ

>>513はマズかった......SHM_NAMEが複数プロセス間でバッティングしないように
mktemp()とかでユニークネームを生成させてそれを使うようにせにゃ......

っていうかLinuxでshm_open()とかあるかわかんないんだよね......
一番確実で手っ取り早いのは"zz_tmpfd = tmpfile()"でディスクリプタとって
shm_open()/shm_unlink()をやめるのだろうけど

とりあえず ls /usr/lib/libz* の結果がダメ(No such file or Directory)なら
GZIPに戻すしかなさそう(もう一度Makefileをダウンロードしなおしてください)。

rootになれないんだと、
rpmでzlib-devel入れるというのはだめですね…。

zlib.h直接入れるしかないのかな。

zlib ごと compile して static link にするのがいいのかな。
zlib 込の archive 作って、それに対応した Makefile 書いて。

uname -a を参考までに聞いてみたい気がするけど平気なのかな?

natto に入ったよー

rootになれなくてもコンパイル時のカレントディレクトリにzlib.hやlibz.aを
突っ込むとかいう手もあるんだろうけど

おっ、いけましたか

あれ、背景が真っ黒

nattoで生きている板って・・・どこだろう。

うぉなんだこりゃ!! 真っ黒だ!!

>>566
とりあえず、/usr/include/sys/mman.h にはあるみたい。

/* Open shared memory segment. */
extern int shm_open (__const char *__name, int __oflag, mode_t __mode);

/* Remove shared memory segment. */
extern int shm_unlink (__const char *__name);

web制作

CSSを利用した２ちゃんねるのデザイン
http://natto.2ch.net/test/read.cgi?bbs=hp&key=998851406

>>575
たとえば。
http://natto.2ch.net/cs/index2.htm

真っ黒ですねー

真っ黒! r2chhtml.hの問題か

>>575
PC初心者板とかですね。

真っ黒だー

>> 566
glibc-2.2.3のsysdeps/generic/shm_(open|unlink).cにあるよ

>>577 サンクス　問題は2chサーバにあるかどうか......zlibの件もあったし

誰? BODY BGCOLOR=#eee にしろなんて書いたWeb製作板の
ドキュソは。3桁指定ができるのはcssの場合だけだよ。
BGCOLOR=#efefef に直してください。

>>473
実はｶﾞｲｼｭﾂだった(泣

uname ほど正確ではないけど netcraft.com で調べれないかな？

>>580
>>582
漏れのところでも真っ黒に遭遇 >>473 してしまったのだ(ｗ

r2chhtml.hを修正して上げ直し頼みますー

こんなんでてます
<html><head><meta http-equiv="Content-Type" content="text/html; charset=Shift_JIS"><title>2ちゃんねる に 書き込める 串をくれ〜 </title></head><body TEXT=#000 BGCOLOR=#eee link=blue alink=red vlink=#609>

スカパーは見れるよ
普通に

>>585 ああ、webprogにいじらせたのか。やけに納得(ｗ

見れませんでしたね
すみません黒いです

>>592
Web製作とWebProgは違う板です。念のため。

>>592
webprogじゃ無くてweb製作でしょ。

>>592 ｽﾏｿ webprog じゃない hp だった
鬱だ逝くよ…5分間だけ

ちょっと置換しなければいけない場所が多いな...
5分時間ください。

ああ、みんな怒ってる＞真っ黒だー

>>597
エディタの置換は？

Web制作板、nattoですね。（藁

>>599 ちなみに漏れは、
BGCOLOR を別の文字列に置換して逃げた(ｗ

当方 gzip に対応していない DOS ブラウザですが
index2.html (l付きね) にアクセスしようとすると
なんか永遠にまたされる気が・・・

同じ名前で上げなおしました(r2chhtml.h)。
早く直してあげてー

>>600
不謹慎だけど、笑っちゃった。

>600
自業自得か。ﾜﾗﾀ

>>603
今度は#eeeeeeになっている。

>>606
Webセーフカラーのほうがいいかも(w

入りましたよー

直った

スカパー正常にみれます

結局全レス表示規制が修正されたかどうかの確認は
明日までお預けですね…。

背景戻りました↓
<body TEXT=black BGCOLOR=#eeeeee link=blue alink=red vlink=#660099>

あれ？、直ったけど、#eeeeeeになっている。

gzip,Last-Modified 正常に動作してるようです。

とりあえず、たいして変わらないし良いんじゃないですか？

夜勤さーん。他で何度か書いてるんですけど、
要望板のトップから「UNIX板」の文字消してもらえませんか?
黒いぞ!とかUNIX板に報告されてもこまるんですが、、、

natto以外(ver.5.02)はこんな感じ↓
<body TEXT=black BGCOLOR=#EFEFEF link=blue alink=red vlink=#660099>

6時までの規制にしてみました。

http://natto.2ch.net/test/read.cgi?bbs=hp&k=998851406&l=20
こんなのもちゃんと扱えています。

あちゃー>>611
そうですね。
書き込み、閲覧ともに正常でした。>natto

タグ小文字に統一すれば圧縮率上がりそうな。

お、タグ消えてる!
http://natto.2ch.net/test/read.cgi?bbs=hp&key=998851406

100レス制限も生きてます。

>>618
ちゃんと100制限かかっています。

ちゃんと動いてますね

昨日入らなかった鯖も含めて全鯖に入れてみます?
もう少し様子見たほうがいい?

先頭にスペース入るの俺だけかな･･･

>>619
これが扱えていますから、read.cgi自身が生成するリンク（最上部とか
最下部の「100レス」みたいなやつ）は、この省略形にしましょう。
あと、最下部「次の 100 レスを見る」「最新レス 100」はそれぞれ
「次の100レス」「最新レス100」などに圧縮を。

さっき、３時以降の制限はずれでも確認できたので、大丈夫でしょう〜

一晩様子見ますか？

FORCE_304_TIME も機能しているっぽい。

>>627
gzip使う場合はspace 2048個先頭に入るようになってる

あれ、この時間って100レス制限だったっけ？
例のバグは、「明け方になぜか制限がかかって、
テレホに突入せいても全部読めてしまう」だと思ったんだけど。

>>627
ソースの？

>>627
ブラウザがgzip対応なら正常です。
念のため環境を。

>>630
teri/piza2以外に入れて様子をみるってのもありかも(＾＾；

>>633
>>618

>>632
そうでしたか、申し訳無い。

>>633
>>618です。

失礼。制限と制限はずれを確認できたのね。ごめんなさい。

ってゆーか、みんなｹｺｰﾝして！

どうでしょう？とりあえずほかのサーバに入れていただいても大丈夫かと思いますけど？

>>636
そうですね
それでもいいかもしれませんね

ｹｺｰﾝ(笑

夜勤さんに作業してもらえるときに、read.cgiはどんどん入れ替えちゃって、
不具合出たら随時対応でよいと思います。
致命的なものはなさそうですし。

yasai , www2.bbspink に入れましたー。
サーバによってテストしていることが違うので、今日はこの３台ですー
であしたのピーク時がどうなっているかをありがとう観察しましょう。

本当に　感謝　感激です。
ありがとうございます。

FORCE_304_TIME は速報とかで一度効果を見たいですね

全部５．１に変えてもいいかもしれませんけどね
５．１バージョンの方がバグ取りは進んでますし・・

>>645
あ、はーい。お疲れです（＾＾
んじゃ、そろそろ案の一覧を。。。

そろそろ次のバージョン行きますか?
それとも簡単に出来そうな >>621 >>628 を片付けてからにしますか?

＞夜勤さん
様子見ですか？
わかりました

とりあえず簡単なバグの出そうにないやつから始めましょう

＞夜勤さん
ちなみに FORCE_304_TIME はいじりましたか？

>>649
次に夜勤さんが鯖に入れるまで、1日はあるでしょうから、いろいろやっちゃいましょ。

実装したものはドンドン下のリストから消してきます。
#ifdef 関連は.cか.hに書いていただけると。。。。

案
　>>407(>>513 >>566 >>583) >>462 >>463 >>493 >>532-534(>>497 >>502 >>555) >>499 >>507 >>556 >>617 >>621 >>628 zlib問題
インストールオプション
　>>506(>>508) >>474

夜勤★さん、今夜の作業おつかれさまでした

予定は未定かと思いますが、現時点で次にきて
作業していただけるのはいつになりそうですか？

漏れがやるっていっててヘタレ発言だけど
明日朝イチで打ち合わせのため
そろそろ寝るのであります。というわけで、
>>534 >>555 PATH_INFO対応の
落ち穂拾いを、お願いするです。
ブラウザから見たパス深度が変わってしまうため、
具体的に行わなければならない作業は以下の通り。
・各リンクの相対パス
・カキコ中の参照リンク
を、path_infoが有効かどうかに応じて
切り替えねばなりません。
あと、そのために、path_infoから文字を取り出してる
部分(strtokが出現する箇所)で、フラグをセットするなり
パス切り替えを行うなりを入れないといけないでしょう。

ちうわけで、寝る

>>655
おつかれ様です

Content-Length >>407 >>513 >>566 >>583
PATH_INFO >>532-534 >>497 >>502 >>555
fread() >>556
簡単 >>493 >>617 >>621 >>628
zlib
その他 >>462 >>463 >>499 >>507

>>655
お休みなさい〜

夜勤さん、お疲れさまでした。

＞娘
>>617は修正しました
http://star.endless.ne.jp/users/forcount/contents/scriptmaker/r2chhtml.fix.2.h
これで良いですか？

今までのは忘れて(泣

Content-Length >>407 >>513 >>566 >>583 >>655
PATH_INFO >>532-534 >>497 >>502 >>555
fread() >>556
簡単 >>493 >>617 >>621 >>628
zlib
その他 >>462 >>463 >>499 >>507
もっとその他 http://www.gedoh.org/aki/2ch/tiki/ にいろいろ
インストールオプション >>506(>>508) >>474

>>566
shm_openもSHMMNIの影響受けるんじゃないの？
標準は100だか128のようだけど足りるのか？
mallocとreallocで処理した方がいいと思うが。

>>659
はーい。

Content-Length >>407 >>513 >>566 >>583 >>655 >>661
PATH_INFO >>532-534 >>497 >>502 >>555
fread() >>556
簡単 >>493 >>621 >>628
zlib
その他 >>462 >>463 >>499 >>507
もっとその他 http://www.gedoh.org/aki/2ch/tiki/ にいろいろ
インストールオプション >>506(>>508) >>474

"<BODY TEXT=black BGCOLOR=#efefef link=\"#00F\" alink=\"#F00\" vlink=\"#609\">"
↑こういうのがあるので、修正したやつをver14ディレクトリにアップしておきました。

>>663
同じ箇所を最初に修正し始めましたねぇ

ってか、みんなではじめたらまたmergeで泣くのか。。。

>>663の方を採用
http://star.endless.ne.jp/users/forcount/contents/scriptmaker/r2chhtml.fix.3.h

>>665
やっぱり、cvs pserver 立ちあげたほうがいいかな。

>>661 まだ起きてた…
shmは排他に使ってるんですよね?
それ使うのやめて、mmap()でスコアボード
つくって、その上で排他・共有処理作ったら
いかが? スピンロックはCで書けないような
気もしないでもない(CPU2発だったよね)ので、
具体的な手法は、また明日昼以降に書くです。

>>664
r2chhtml.14.2.4.hをダウンロードして、エディタの置換機能で#eeeを#efefefに、
#EEEを#EFEFEFにしました。

>>667
今後の２ちゃんねるに希望を抱きつつ、、、
立ち上げていただけると助かるです。

>>669
でもなんかファイルサイズが大きくなりすぎてるような・・・

それにしても夜勤さん頑張ってくれてますねぇ
<ぼそっ>ひろゆきはどうした？</ぼそっ>

>>671
もしかしたら、改行コードが変わっているかも…

>>668 別人だけど
>>513 は、tmpfile代わりにshm_openを使おうとしているようだけど。

>>621

テキトーですが、小文字にするスクリプト

#!/usr/local/bin/perl
require "./jcode.pl";
open(FF, "<r2chhtml.h");
while(<FF>){
    if($_ =~ /\t"/){
        # 小文字変換は euc じゃないと化ける
        &jcode::convert(\$_, euc);
        $_ = "\L$_\E";
        &jcode::convert(\$_, sjis);
    }
    
    print "$_";
}

define の中で定義済み define も小文字になっちゃうので、
そこは手作業で直す必要があります。

ディレクトリ内のファイルが新旧入り混じって
数が多くなってきているので、ここらで一度
古いものを整理していただけるとありがたいです

>>673
fix.3でも問題なさげ
なんでそのまま採用

>>677
あれ？、CR+LFになっているようです。。。

>>675
それでは関係ないところも小文字になっちゃいますよ、INPUTのnameとか。
今誰もやってないなら俺やりますけど、現時点での最新版は・・・？

read.cgiv5.1、だいぶ快適ですね。
リンクはずれるのも軽くなっていいですし。

>>678
え、マジ？
じゃあどうしましょう

>>681
修正版、作成しますね。

>>676
最新版は
http://star.endless.ne.jp/users/forcount/4countbbs/scriptmaker/index.html
に一応アップしています。

>>all
古いファイル消してしまいましょうか？
わかりやすく

>>682
サンクス
頼みます

ftp://210.170.170.131/2ch-read-current/r2chhtml.14.2.5.h
にタグの小文字化と無駄なスペースなどを削除したものをアップしました。

あれ？
ver14フォルダが無い・・・

つぅか、pserver立てられる人いないの？
俺も参加したいけど、何がなにやらさっぱりわからん。

修正版作ったけど、ver14ディレクトリが無い・・・

>>685
失礼、URLミスった。
ftp://210.170.170.131/incoming/2ch-read-current/r2chhtml.14.2.5.h

>>688
>>685のでいきましょう

>>688
あらほんとだ。またageますか。

>>687
立ち上げようと思ったんだけど、ヲレが今つかっている host、会社のだってこ
とに気づいた…。

あと、commmiter をどうするかっていう問題もあるかな。

>>691
お願いします。ファイルがごちゃごちゃしているので…

>>690
わかりました。

>>692
ftp://210.170.170.131/incoming/2ch-read-current/
見たらゲロはきそうになったよ（藁
よくこれで作業できると、別の意味で関心した（藁

>>683
古いファイルはいついつ以前とわかる名前の
ディレクトリに退避させておく、でいかがでしょ

>>687
管理してるマシンでcvsupd動かしてるけど、
大学なんでちょっと．．．協力できずスマソ

>>691
thanks。それから、ver14→ver5にした。

古いファイルは全部消しちゃいますか？

一応全部
http://star.endless.ne.jp/users/forcount/4countbbs/scriptmaker/index.html
にアプしてありますし

>>696
いや、
やるべきだ、とか、
やらねばならない、とか、
やらないのはタコ、とか言いたいわけではなく、
誰も立てる環境をもってないのが不思議なんだよね。
かくいう俺も持ってないんだけど。

>>695
最近のバージョンが全部ある ftp.sendmail.org を見ているようで爽快（ｗ

>>693
ageなおしました。前と同じ、ver14ディレクトリ以下。
>>695
ver14 の下にあるのが 公式バージョンver5.10相当。
それに >>689 を加えたのが現在の最新、かな。
>>699
私もcvs over SSHの環境を持っているのですけど、同様に大学なので...

緊急事態だったからしゃーないでしょう・・・

>>700
そうだねぇ
http://star.endless.ne.jp/users/forcount/4countbbs/scriptmaker/index.html
もわけがわからなくなって来た
一応まとめたけど・・・

pserverてなんですか？
URLとか教えてもらえると助かります

pserverっつーか、CVS。
http://www-vox.dj.kit.ac.jp/nishi/cvs/ が一番詳しいかな。

ftp://210.170.170.131/incoming/ver5/read.c
なぜかver14になっているね。ver14ディレクトリからver5に変えたせい？

簡単に言うと、pserverとは、バージョン管理システムのCVSをインターネット環境で
使うサーバアプリです。

統計解析コードは入れてあるの？
read.cgiの大まかな利用傾向を出力するような。

「『全部見る』を廃止しよう」とか言ったようなポリシーの変更を
cut&tryだけでやろうとしてるように見える。
利用方法に関する統計データが提示されているのを見た覚えがない。
そういったデータを出力して、使った方がいいと思う。

チューニングの前にはプロファイル、これは鉄則。
CPUパワーの方はまだ余裕あるんでしょ？

>>706
開発中はそれでも良いと思われ

>>709
わかりました。
r2chhtml.14.2.5.hをver5ディレクトリに入れておきました。

>>708
それならread.cgiをいじらなくてもhttpdのログを見ればすむ話と思われ。
# 正確には access.log から統計情報を作る何かが必要なのだけど

そろそろ寝ますね。

>>711
もしそれが必要なら、手元にありますので提供します(笑

ぬー、みんな楽しそうだな・・・。
このスレじっくり読んで、状況を把握していたら、永遠にみんなに
追いつかないだろうな。
つぅわけで、みんながむばってくれ。

>>703
最新版情報はとりあえずお任せします。

おわったもの
　>>621 (小文字化)

まだのもの
Content-Length >>407 >>513 >>566 >>583 >>655 >>661 >>668 >>674
PATH_INFO >>532-534 >>497 >>502 >>555
fread() >>556
簡単 >>493 >>628
zlib
その他 >>462 >>463 >>499 >>507
もっとその他 http://www.gedoh.org/aki/2ch/tiki/ にいろいろ
インストールオプション >>506(>>508) >>474

>>715
最新版では>>628も解決してませんでしたっけ？

>>716
ああ・・・最新版がわかってないかもです。鬱氏で寝ておきます。
起きてここ来たら、ちゃんと整理しますが、どなたか整理してくだされば
越したことはないです。
皆さん、本当にお疲れさまです。。。

やっぱ sourceforge …

repository作るのはいっこうに構わないんだけど、
pserverはちょっと嫌かも……。

>>674 ご名答
>>674 ↑ということですので......
>>661 確かにそうなんだけど......でもmalloc()/realloc()使うとなると
gzprintf()とかも使えなくなっちゃうから　何とかfile descriptorに吐き出す
形でメモリに書き出せればなぁ　とか思ったんだけど

sem_open(),etc.でshmの使用数100ぐらいに制限かけるとかじゃダメかにゃ

最新ソースコード
http://star.endless.ne.jp/users/forcount/4countbbs/scriptmaker/index.html

おわったもの
　>>621 (小文字化)
　>>628 （無駄なスペース除去）

まだのもの
Content-Length >>407 >>513 >>566 >>583 >>655 >>661 >>668 >>674
PATH_INFO >>532-534 >>497 >>502 >>555
fread() >>556
簡単 >>493
zlib.h問題
その他 >>462 >>463 >>499 >>507
もっとその他 http://www.gedoh.org/aki/2ch/tiki/ にいろいろ
インストールオプション >>506(>>508) >>474

>719
commmiter として登録された人からメールが来たら自動でリポジトリに入るようにするとか。

眠いんで寝ます
また、バージョンアップがあったら
お昼頃にまとめます
おやすみなさい

>>717
お疲れさまです。

720のsem_open()云々のくだりはもちろんshm_open()呼び出す前にsem_wait()呼ぶ
ちゅう意味ですんで......でもmalloc()/realloc()の方がそんなことしない分
パフォーマンスいいのかなぁ......実装はかなり大変そうだけど

最新のものの管理はもちろんですが、
少なくとも「稼動実績のあるread.cgi」については
その表示されるバージョン番号とともに
すぐわかるようにしておくのがよいのではないかと。

>>726
http://star.endless.ne.jp/users/forcount/4countbbs/scriptmaker/index.html
に
現在までの状況

夜勤★さんが
natto
yasai
www2.bbspinkのread.cgiをバージョン５．１にアップしてくれました
採用コードは
http://star.endless.ne.jp/users/forcount/contents/scriptmaker/read14.2.7.c
http://star.endless.ne.jp/users/forcount/contents/scriptmaker/r2chhtml.fix.2.h
http://star.endless.ne.jp/users/forcount/contents/scriptmaker/Makefile.zlib.txt
http://star.endless.ne.jp/users/forcount/contents/scriptmaker/util_date.c
http://star.endless.ne.jp/users/forcount/contents/scriptmaker/util_date.14.2.2.h
です

現在
http://star.endless.ne.jp/users/forcount/contents/scriptmaker/r2chhtml.14.2.5.h
が更新されています
って感じでまとまってるけど？

内部リンクの一文字化案が出ていましたが、
下手するとせっかくのLast-Modifiedが有効に活用されなくて
逆効果になるおそれがあるので慎重にやったほうが
いいのではないかと…。

私も寝ます...
最後に
・>>532-534で提示されたパッチを適用(>>655で指摘された問題はまだ)
・インストールオプションを read2ch.h の中に入れた
　　(これで-DHAVE_READ2CH_Hだけですむようになった)
・"true" かどうかを最初の t 一文字だけで判定する
の変更を加えたものを ver5/{read15.c,read2ch.15.h,Makefile.15}
において置きます。

それでは、おやすみなさい。

ううむ。あまりに面倒なので、誰でも自由に commit できる cvs pserver
を会社で内緒に立ち上げちゃおうかな…。

sourceforge が一番いいのはわかっているんだけど、手続きが面倒そうだし、
commiter をどうこうするのもこれまた面倒だし。

ssh経由でcvsだけできるアカウント作ってみた。

とりあえず cvsup,cvsupd を pkg_add して
mkdir -p /home/cvsup/readcgi && cvsupd -b /home/cvsup
したけど他に何設定すればいいのかわからん(w

あ、書き込んじゃった。

ただ、上流はあまり太くない(OCN128)ので、
どうしようか悩み中。
考え過ぎかなぁ。

>>731
ありゃ。ちょうど anon cvs server を立ち上げたところだったんですが、
そのほうがよさそうですね。ってことで、inetd.conf を元に戻すか…。

>>733
web 公開とかしなければ cvsup なんて普通の人は知らないから
問題ないのでは？

>>727
ソースの推移はわかるんですが、例えば今だと
まだ多くの鯖で動いている5.02ってどれだっけ？
なんてのがわかりにくいなと(必要ないのかな？)

release, stable, current とかって分かれてると
わかりやすいんだけど(w

>>736
cvs 使って tag と brach を駆使すると一挙に問題解決かな?

>>737
あんまり branch 駆使すると収集が付かなくなる恐れが(藁

過去ログに残したくないので、
とりあえずftp鯖にcvsの情報をおいときました。

くれぐれも余所に転載しないでください。。

>>720 事故レス
しかしよくよく考えてみると　ApacheのMaxClientsもデフォルトでは150になってる
はずだし　しかも呼び出されるコンテンツ／CGIはread.cgiだけじゃないから
それ考えれば　semaphoreで100ぐらいに絞ったとしても実際にsem_wait()で
待ちぼうけ食らわされるケースはほとんどないんじゃないかな......

cvs用意したとこなんですが、ちょっと寝ます。
10時には復帰予定。

>>741
お疲れさまです。

# ID 違いますが QuisIe3w も自分です。

懺悔。
hosts.allowで縛ってました。

逝ってきます。

>>743
おはよう御座います（藁

>>741
どもおつかれさまです。ひとまずssh経由での接続だけ
確認しました。では、わたしも寝ますんで >>744 (w

おはようございます。
寝てる間にまっくろくろすけになってしまったようで...
Web板半端にcheckしてた私のミスです。ごめんなさいごめんなさいごめんなさい...
激鬱、逝ってきます...

うーむ、cvs 初めて使うんですが、
init してもファイルが CVS/* 以外とれない…
cvs 立ち上げただけでファイル無いんでしょうか？
# んなわけねぇーよ とか言われそう(^^;

良くわからなくなってきたので自分も寝ます。では。

ちょっと別の角度からのアプローチとして、こんなのはどう？
http://www.geocities.co.jp/SiliconValley-Sunnyvale/1648/ の「サンプル」
大筋こんな感じのダイジェストを作って、なるべくこちらを使うようにする。
sampleの元のファイルは260kbくらいで、ダイジェスト版は75kbくらい。

sampleのリンクは無効だけど、もちろんこれは本物にリンクするようにして。
もともと昔から長いスレッド読むの面倒だなーと思ってたし。
（ちなみにsampleはperlスクリプトで生成したファイル）

下手すると転送量増やしちゃうかな……
予想としては、結構減るんじゃないかなあという気がするんだけど、
やっぱし >>708 >>711 >>713
の解析をしたいな。
俺がやってもいいけど、access.logってプライバシーが記録されてない？
読んでもいいのかな？

relese版は-g外して-O2つけた方がいいような
最終的にはつけるんだろうから今のうちからやっといた方がいいと思われ

>749
そこまでやると、既に２ｃｈじゃないような。

>>747
わたしも空っぽに見えますが‥‥‥．
まだファイルがあがってないのでは(^^;

>>751
うん、それはわかるよ。フールプルーフ的でないよね。
でも最初に2chきたときはフロート式の意味も
名無しさんの意味もよくわからなかったし。
現状そういうこと言ってる場合でもないような気がするんだよね。
どうしても戦略レベルの取捨が必要というか。

まあ、思いつきの部類だから、別に却下なら却下でいいんだけどさ。

最新版をプロファイリングしてみたけど、実行時間の約90%は
ressplitter_split() だね。CPUパワーを使ってトラフィック量を減らすという
方向にはなってるみたいだ。(ちなみに出力先はstdoutを/dev/nullにリダイレクト)

逆になんとか軽くしてやろうという場合はressplitterの部分に注目しれ

case '&':
　if (memcmp(p, "&", 4) == 0) {
→
　if (memcmp(p+1, "amp", 3) == 0) {
とかいった感じ?
# 誤差程度にしか効かなさそうだけど...

case '&':
　if (memcmp(p, "&", 4) == 0) {
→
　if (memcmp(p+1, "amp", 3) == 0) {
とかいった感じ?
# 誤差程度にしか効かなさそうだけど...

>>713 >>749
とりあえずこんなのでIPをハッシュしてしまうとか．
read.cgi だからあまり気にしなくて良いのかもしれないけど．．．

perl accesslog.pl access_log > access_log.hashed

ログ解析ならお手伝いできるかも．
その手のは比較的よくやるので．(^^;

----

$time = time;

srand;
$salt = join '', ('.', '/', 0..9, 'A'..'Z', 'a'..'z')[rand 64, rand 64];

while(<>)
{
s/^([\d\.]+)/substr(crypt(&packip($1), $salt), -10)/e;
print;
}

sub packip {
my $ip = shift;

$ip = pack("CCCC", split(/\./, $ip));
$ip .= pack("n", $$);
$ip .= pack("n", $time);

# print STDERR unpack('H*', $ip), " ";
$ip;
}

>>757

ログって，bbs.cgi とかも混じってますよね．
ハッシュして更に bbs.cgi 除くのがよいかも‥‥‥

grep -v 'bbs.cgi' access_log | perl accesslog.pl > access_log.hashed

とかで．．．(^^;

>>757

補足．全部IPでDNS引きやってないこと前提です．
もしやってるならこのスクリプトだとまずいですね．

% もしやってるなら外した方が良いと思いますが‥‥‥
% DNSでも無駄なパケット消費しますし．

なんで下のは「最新レス 100 」なのに、
上のは「最新レス１００」なのですか？

　gzip圧縮が、ｈｔｔｐｄを改良したとしてもｄａｔファイルの差分読みには適用されない
というような書き込みを読んだのですが、それは本当でしょうか。
　もしそうなら、レス番号指定で未加工のｄａｔファイルを（圧縮して）吐き出す専用ＣＧＩ
を作ってブラウザ側にそれに対応してもらえば、タグ関係の分転送量が減らせると
思うし、余計な作業をしない分サーバーの負荷も軽くなると思うのですが。

R2CH_HTML_NEW_BANNERの、｜おすすめ｜……の表示効果(浮き上がり？)、
削っていいのではないですか。
ほとんど気付かれないし、テーブルの入れ子が1つ減る。

#web板のスレが氏に体みたいなので、こっちに書きます。失礼。

＞760
ver5.1では上も"100"(半角)ですよ。
　http://natto.2ch.net/test/read.cgi?bbs=hp&key=998774537&st=1&to=1
こんな感じ.

cvs空だったからとりあえずbbs内に
http://star.endless.ne.jp/users/forcount/4countbbs/scriptmaker/index.html の
055の内容をcommitしといたYO

imode=true のときは、>>数字 のリンクけずっていいのでは。
リンク先は iモード対応じゃないんだし。

513を書き換えてみた（Content-Length対応／sem,shm使用）
もしmalloc()/realloc()で実装してみようという人がいたらやってみて......
----------------------------------------------------------------------
#include <semaphore.h>
#include <sys/mman.h>

#define SEM_NAME "/shm-lock"
#define _SHM_MAX 100

int zz_tmpfd = -1; /* グローバル変数...ｽﾏｿ */
sem_t *zz_sem = SEM_FAILED;

　　　:

char shm_name[15];
if ((zz_sem=sem_open(SEM_NAME, O_CREAT, 0600, _SHM_MAX)) == SEM_FAILED) {/* err */}
sem_wait(zz_sem);
sprintf(shm_name, "/read.%.6u", (unsigned)getpid());
if ((zz_tmpfd=shm_open(shm_name, O_RDWR|O_CREAT, 0600)) == -1) {/* err */}
shm_unlink(shm_name);
if ((pStdout=gzdopen(dup(zz_tmpfd), "wb")) == NULL) {/* err */}

　　　: /* pPrintf()実行 */

size_t content_length;
void *mmptr;
gzclose(pStdout); pStdout = stdout;
content_length = lseek(zz_tmpfd, 0, SEEK_END);

if ((mmptr=mmap(NULL, content_length, PROT_READ, MAP_SHARED, zz_tmpfd, 0)) == NULL) {/* err */}
printf("Content-Length: %lu\n\n", (u_long)content_length);
write(1, mmptr, content_length);
munmap(mmptr, content_length);
----------------------------------------------------------------------
で終了処理は
if (pStdout != NULL && pStdout != stdout) gzclose(pStdout);
if (zz_tmpfd != -1) close(zz_tmpfd);
if (zz_sem != SEM_FAILED) {sem_post(zz_sem); sem_close(zz_sem);}

ひょっとするとLDFLAGSに"-lrt"か"-lpthread"がいるかも

http://star.endless.ne.jp/users/forcount/contents/scriptmaker/r2chhtml.15.h

消えてる・・・・・

時間がらみのとこ......

void zz_GetEnv(void)
{
　　　　currentTime = (long) time(&t_now);
-　　　　time(&t_now);
-　　　　t_now += 9 * 60 * 60;
-　　　　tm_now = *gmtime(&t_now);
+　　　　putenv("TZ=JST-9"); tzset();
+　　　　localtime_r(&t_now, &tm_now);


　　　　　　　　/* 最後に変更してから FORCE_304_TIME 秒間は強制 304
　　　　　　　　 * (zz_http_if_modified_since基準にすると永久に記事が取れ
　　　　　　　　 * ないかも)
　　　　　　　　 */
　　　　　　　　if(modtime != BAD_DATE
-　　　　　　　　　　&& (modtime + FORCE_304_TIME >= time(NULL)
+　　　　　　　　　　&& (modtime + FORCE_304_TIME >= t_now
　　　　　　　　　　　　|| modtime >= zz_fileLastmod))

結局のところ、>>493
ってやるべき? やめとく？

cvs誰も作業しとらんのか?
これらで更新しといたYO
http://star.endless.ne.jp/users/forcount/contents/scriptmaker/read15.c
http://star.endless.ne.jp/users/forcount/contents/scriptmaker/read2ch.15.h
http://star.endless.ne.jp/users/forcount/contents/scriptmaker/Makefile.15

>>770
cvs情報が置いてあるというftpはgedoh.orgでいいの？

>>771
ftp://210.170.170.131/incoming/
の中参照

>>772
tnx

>762のタグ、書きました。
http://natto.2ch.net/test/read.cgi?bbs=hp&key=998774537&st=901&to=902&nofirst=true

Another HTML-lintでチェック済（怒られ済ともいう）です（笑

>>739 とりあえずチェックアウトして
みまスた。61.*.*.60 からアクセスしてるハズ。

おはようございます。なんか CVS があるようなのでとりあえずco。
公開鍵置けないかなぁ(ぼそ
# diffとかlogとかやるのにいちいちパスワード聞かれて面倒...

- indexを *作らない* ための指針 -
(決して、indexを実装するなと言ってるわけでは
ないので念のため)

* 思考実験
-- いちばん要求が多そうなパターンは?
--0) ls=50
--1) 先頭から
--2) 任意番号から
-- indexがなくても、0, 1のパターンは
　　ある程度最適化可能。

* 前提
-- mmap()実装が好ましい
-- .datを排他取得できれば、今日にでも実装可能

(つづく)

cvswebなんかもあるといいなあ、なんちて

>>777 ls=*** (最新***レス)を取得するためのアルゴリズム

/* おそらくLinuxのmmap()実装は、ページ(4kb)単位で
　I/Oしてるハズだと仮定。
　.dat中、<>, \nは変なところに出てこないと仮定。 */

[ファイルサイズを求める]
[検索ポインタをページバンダリに合わせる]
*1
[\nを探す]
　[見つかった場所を記憶]
　[\nを検索し、カウント]
　[発見できた行数がls以上だったら]→*2へ
　[さらに1つ前のページにポインタをセット、*1へ]

*2
[発見した行数とlsを比較、lsに合致する位置を探し出す]
[ｳﾏｰ]

※エラー処理は省いてあります悪しからず

>>776 公開鍵を公開して後悔してみるﾃｽﾄ 改行は削ってねん
1024 35 125510506106168728484344559028606260743434268237854452780444042976244657
81739454014124651657231825977749070773767108497499251365412015927978388425371088
95852928101769306347480074405076367979601172615284032825301031733990311664442050
92574215801196046615239358582359132960970497307563652775474320133870669877061

>>776
メールに添付して頂ければ鍵入れますよ。

>>780 done.

ageちゃったよ。鬱氏。

私もお願いしまーす
1024 35 141420444182800897154560295614680846245673825265858296442411357414038911
15240884613924487988651379196491244199030124002182978924398093541301493596634178
10358111123831813671661820711619671241767922665495043391115828629228218324543087
39167515099277620696331284274869374935143845999123662470866714954408738766491

commitのコメントをeuc-jpで叩き込んでもよかですか?
＞aki そのた

>>785
ソースがSJISなので迷うね

>>785
別にいいのではないかと。
$Log$ キーワードは使えなくなるけど :-)

問題が出ないようなら良いんじゃないかと。
$Log$は使わないと思うし。

個人的にはソースごとEUC-JPにしたいところですが:)

>>784 done.

これでいいのかな。私もお願いしまーす
1024 35 1209973216028234556155437171620554425256431533556875617768332362300844549164334727791311043
439692141062247278251542890338068893268572195862223945467749181727505043692843970516667398695895755
058983468168543381589907943645791802851177950373716881571364655263365277841572646626466266846404372
46205703474514434657

>>788 禿堂

いま、Makefile書き換えてしまいました。
文句は漏れに言えｺﾞﾙｧ!

>>757-759
やるべきだ、はっきりいって今このスレでやってること、
ミクロすぎて現状の応急措置にもなってない。
それだったらP2P掲示板スレの議論に参加する方がまだましだ。

いっそのこと、identity.pub晒した人だけ
commit可能にするってのはどーよ(ｗ
(たぶんsshdの設定だな…)

ひとつ問題提起しときますが…
Cookieに依存するオブジェクトにL-Mを付加すると、
プロバなどのキャッシュ串に溜まってしまい、
NAME, MAILが漏れてしまうのではないだろうか?
もしかすると、やむなくJavaScriptにより
クライアントサイドで処理する方法に戻さざるを
得ないかも…鬱

参考文献
http://cache.jp.apan.net/CacheDoc-jp/work/SquidFAQ/FAQ-12.html#ss12.19

>>792
ログもらえればやりますよん．

欲しい情報というのは，

・各リクエスト(1記事指定，最新n記事，n-m番目の記事等)の比率と，
　それぞれの場合の取得記事数の分布．

・DAT直とread.cgi経由の比率．

　DAT直が多いなら対策すべきだし．．．(mod_gzip？)
　mod_gzipが無理なら，dat ディレクトリをリネーム，
　dat という名前のCGIをおいてそれがgzip圧縮付きで
　ApacheのDirectoryIndexをエミュレートとか．

・ユーザー毎の行動パターンの発見？
　最新n記事の後は全記事表示が多いとか．

他にもこういう視点からチェックしたいというのがあれば
チェックできると思います．

% とりあえずログもらわないと作業不可能(^^;