●転送量削減について●

トラフィック削減になるCGIの仕様（ソースではない）のアイデアを出して
良いところはフィードバックしてもらいましょう。

index2.html で少しづつ表示される各スレッドの書込みを
「選択したスレッド」のみ表示するようにし
TOPページはあくまでスレッド一覧のリンク及び広告だけでいいのでは？

読まないスレッドまでとりあえず一度読込むから余計なトラフィックだよね？
あと、書込んだ後も一度TOPに戻らず同じスレッドの再読み込みと言う仕様にした方が
トラフィックを節約出来ると思う。
とりあえず、無駄が多い。同じユーザー数でも、まだまだトラフィックを減らせると思う。

小技で転送量を削減しても、時間の問題でオーバーフローでしょうね。

分散化するのが一番かと。。
http://piza2.2ch.net/test/read.cgi?bbs=tech&key=990334284&ls=100

ピーク時に、150Mbps も使っている巨大掲示板が
無料で運用されているなんて凄いねぇ。

>>3 確かに単なる節約程度では時間稼ぎでしかないけど即効性と
コストが掛からないと言うのがいいかな。

「レスを全部読む」で表示された画面のまま、リロードをガンガン
やるＲＯＭの人がかなり、大勢いるのではないかと思うので、
この辺を検討してみても良いのでは。
２ちゃん以外のサイトでこんなに長くスクロールするところは、
ほとんどないと思います。

サーバ全体のトラフィック軽減には役に立たないが、
3つのframeに分けて飛ばすのはいかんのだろうか？
webサーバ1コあたりの負荷低減には効くと思う。
----
掲示板本体部分(1から下)
→該当webサーバから送る

その他の共通部分(宣伝とかの張りつけなど）
→共通のwebサーバから送る サーバ監視所のうんぬんのところも同様
----

転送量そのものを小さくするのであれば、
同時アクセス数制限を行うしかないのでは？
apacheの設定になかったっけ？

>>6
同時10スレッド、1スレッドあたり7書きこみ表示まで小さくなってます。

MaxClients,MaxRequestsPerChildの設定を変えてもよいのであれば、

MaxClients = サーバごとの最大転総量/(gzipをかけて送る量×70%+素のまま送る量×30%)
MaxRequestsPerChild = MaxClients / MaxSpareServers
で縛ってしまう、というのはどうだろうか？

一応貼っておきます。

http://cocoa.2ch.net/test/read.cgi?bbs=unix&key=998764722&st=490&to=500

たぶん既出だけど。

>>7 apache の「MaxClients」ってあるけど、その制限に行くと
〜に接続してます・・・と長く待たされるからブーイングが出そう。
確かにトラフィック上限はコントロール出来るけど・・・。

apache の設定で回避するのは最後の手段にしてほしいなぁ。

>>11
転送量自体に足かせがある以上、
どこかにしわ寄せがいくのはしょうがないことだと思います。
CGI自体に流量制限させてもいいかなとは思うんですが、
めんどくさいと思うので最大枠しばりを入れた上で、
しばらくnetstatで流量みて、値の調整を取るのが一番よいのかなと。

# 能動的にパラメータ値を算出して、能動的にパラメータ変更を行うような
# バッチ処理つくってみるのもいいのかも・・・

>>11
ところでここってcronつかっちゃいけないのかな？
使ってもいいのであれば、
netstatとpsとuptimeを10分に1回ながしてモニターしてみたいなーと。

で、データながめてイケそうな式を書いて、
今度は1時間に一回、こんなのを動かす

・netstat | awk から、平均転送量をみる
・前の日の要求数データと、今とった転送量から、最適同時要求数を算出する
　（次の時間帯の転送量予想値 = 前の日の次の時間帯の転送量×(今とったデータ/前の日の同時間帯の転送量)）
　（0divideになるときは、予想値＝前の日全体の平均転送量とする）
・apacheの設定ファイルをかきかえる
・httpdを首釣らせて設定変更

っていうのを考えたんだが・・・

トラフィックは MRTGで監視するとしても簡単な制限はやっぱり
httpd.conf で絞るのが楽かぁ。
でも夜に見れない連中も出てくるから、この方法だと２ｃｈが衰退してくのは確実。

うーんと、ここはレベルの高い人（煽りではない）が多いので
そんなバカなことやる訳はないということなのかもしれませんが、
例えば
http://cocoa.2ch.net/test/read.cgi?bbs=unix&key=998823854
というＵＲＬを表示している画面で、スクロールを一番下に下げた状態で
ブラウザの更新ボタンをパシパシやる輩が実はいっぱいいるような気が
するんです。
実際は、最新の２つ・３つのレスが見たいだけなのに、&ls=
なんて知りませんので、「あー遅いな〜」なんてことをいって数百のレスを
受信している人が多いように思ったもので、、、。
read,cgi で表示している画面の「書きこむ」ボタンの横（メールの右でもいい
けど）あたりに、「最新レス１０を見る」とかつければいいような気がしたん
ですが。

でもさ、14で書いたような、
前の日のトラフィックから、同じ転送量を1時間ごとに変更するのだめかなぁ・・・？

# 前提として、今日の転送量の変化の様相は昨日と似ている、というのがあるので
# ニュース速報板的な変化には追いつけない。
# で、それをなんとかするために、
# ( 今とったデータ/前の日の同時間帯の転送量 ) で、今日の成分を上乗せしてみた

粘着荒し上げ防止の為
強制sage機能欲しいです
板の主旨にあわないｸｿｽﾚをいつまでも上に
あげ雑談するｳﾞｧｶァ防止してほしい

>>16
UIの問題もあるね、確かに・・・
最新レス10を見る攻撃もいいのかも。

補足：
考えの背景は次の通り

・固定値にすると、昼夜のアクセス数の変動に応じて対処できないので
　過剰な防衛処置になってしまう
　→1日のトータル転送量のコントロールができればよい
　　瞬間の転送量は大きくても構わない
　∴1日のトータル転送量を超えないように、
　　1時間ごとの最大転送量をコントロールすればよい。

要はプラントとかでやってる需給予測・供給管理をイメージしてます。
電気・水道・ガスなんかと同じノリです。
前の日だけじゃなくて、前の週の同曜日なんかも参考にするといいのかな。

予測計算に、割りこみ要素を組みこめるともっといいのかも・・・
（なんか事件があったら「突発的に上がる恐れあり」フラグたてるとか、
　amedasから受信した気象情報を盛りこむとか）

>>17 cronでデータを定期収集、confをスクリプトで書換えて httpd -restatの自動化も
可能だけど、おおよそのトラフィック制限ならそこまでシビアでなくても良さそう。

ふと思うと、14の式には全体の転送量で正規化する式が入ってない。

次の時間帯の転送量 = 前の日の次の時間帯の正規化された転送量×(今とったデータ/前の日の同時間帯の転送量)）
前の日の次の時間帯の正規化された転送量 = ( 前の日1日の転送量累計 / 1日の転送量最大 ) × 前の日の同時間帯の転送量

でも、確かにここまでやると大げさだね（＾＾；
せいぜい、1時間ごとの基礎パターンをスケジュールできればいい程度か。

問題は、固定上限にするとしても、全サーバの転送量を問題としているので、
個々のサーバの転送量の上限というのはどう考えたら良いのだろうか？
MRTGでサンプリングして、比を決めてあげればよい？

>>14 同意サンクスです。
あとＵＩの話でいうと、index2.html の中の「レス１−１００」でレスを
読んだあとに、read.cgi　で「次の１００を見る」とかがでてこないのは
いかにも不自然（時間帯ではでてるのかな？）。
これが「レスを全部読む」クリックへの引き金になっていると言えます。

聞いたところだと。ｙａｈｏｏは１ページの転送バイト数にかなり厳しい
上限数を設けているらしいので、多少は参考にしてもいいと思います。
ただし、あの掲示板の仕様はz絶対にマネしないように（藁

「レスを全部読む」を廃止して、
1-99, 100-199, 200-299, ...
とかいうリンク付けるとかは考えられませんかね。

>>24 でも良いと思うが、今の仕様で一番痛いのは「前の100を見る」
というのが無いことではないか

>>25
激同

転送量をきちんと制御しようとするなら、それ専用のハードを入れないと
根本的な解決は不可能でしょう。
専用ハードだと、TCPの各セッション単位で流量制御するためにウインドウ
サイズいじったりとか、きめ細かい制御ができますが....
値段も高いし、ホスティングだし、ということでソフトウエアで解決できる
対策を考えないといけないですね。

WEB製作板から覗きに来たんだけど、
この話アチラで何度もも出てたような…
＞24リンク増やすとデータ量が無駄に増える。
あちらではフォーム使って、読みたいスレ数を手動で入れるのはどう？
とか話してた。参照して検討してもらえるとありがたい、
なにせアチラはタグでの減量にかかりきりなので。

クッキーで前回のロード時刻と単位時間辺りの書きこみ数を
記録しておいて、リロード時のレス数(ls=xx)の動的変化を
制御するっているのはどうですか？

>>29
なるほど。cookie を受け付けない場合は現状どおり
ls で指定されただけ download させ、cookie で
情報がもらえる場合は新しいレスの数+αを ls に指定
するわけですか。実装は楽だし、いい考えですね。

htmlを諦める。

>>27
それ導入できるといいですねー。
TCPで締めちまうとラクでいいです　動的window-size変更とかキュー数変更。

nddで変更してinetdに首釣らせるか（笑

>>9 MaxRequestsPerChildの意味が違うような...

>>31
突き詰めるとそれになるだろうなあ。もしくはhtmlでは
めちゃくちゃ使いにくいシステムにして、かちゅ〜しゃなど、
専用ソフトへの以降を促す、とかになるでしょうね。

TOPページをi-modeページなみにする！
http://cocoa.2ch.net/unix/i/ こんな感じ。
これで当面の削減はOKであろう。

read.cgiのソースも後悔した事だし、
bbs.cgiも公開して、windows番を作成。
常時接続してるお子様からお年寄りまでみんなにインストールしてもらって、
2ch.netはインデックスだけってのはどうよ？

197 名前：元＠削除管理委員長 ★ 投稿日：01/08/27 07:23 ID:???
>>182
bbs.cgiは多分公開されることはないです。
これは以前からのひろゆきさんの方針ですから（この状況ですからどうなるか判りませんが）
ただ、UNIX板等、専門板でのアドバイスは大変参考になっているみたいです。

ついでに、私はすでに管理側と言えない立場にあります。
状況を鑑みて、老体に鞭打ってしゃしゃり出てきてるだけです(^_^;)


だそうで。

とにかくindex2.htmlからread.cgi外そう。

いや、別にbbs.cgi公開するとかしないとかじゃなくて、
おもろいとおもわん？
ある日、お子様の家に「ケーサツですが、ログの押収に来ました〜」
とか：P
世はブンサンの時代だ死ね〜

>>38
同じ事かな？
index2.htmlでスレを幾つも表示させる必要が無いと思う。
スレが熱くなっているときは、一つのスレに集中してるから。

がいしゅつかもしれないけど『全部読む』を廃止し、強制的に20件毎の
ページ制にして。『前 3 4 5 6 7 次』とかってやって見たらどうでしょう。
『>>45付近』を読みたければ、『3』をクリックすればいいわけだ。
全部読みたいひとは専用ツールを使ってもらうようにして。

以下、俺の場合の話ね(IE5.5)。参考になれば。

index2.htmlはスレッドリストだけで十分です。
普段見てないスレへのリンクがTOP10表示されているためvlink色で
表示されるし、普段見ているスレもvlinkで表示される。だから使い
勝手も悪い。ツール使えば済む話だけど。
スレッドのTOP10は人気順ではなく、最近更新されたスレッドTOP10
なので、これらの10スレ表示は若干無意味だと思う。せめてTOP3に
削減希望。

『sage進行』って言葉があるので分かるとおもうけど、TOP10って
荒れやすいと思う。TOP10を荒らすコピペ厨房も多いだろうし。

TOP10って誰もが開く部分だから、TOP10をTOP3にするだけでも
効果が数字に出ると思うんだけど、どうですか？

長文でスマソ。

>>41
でも、その分細かくアクセスされたらあまり変わらないような気がする。

>>43
あまり変わらないか少なくなるくらいにならないかな？
400くらいまで読んだけど、いつの間にか700まで増えてる
ってことが良くあるんだよね。んで、いつも『レスを全部
読む』を押すんですよ。そこをピンポイントで400付近に飛
べればと…。

話し変わるけど
こういうのは？
同じスレへのリロードはある間隔をおかなきゃ出来ない、ていうやつ。
これって既出かな。
どっかに、今までのアイデアまとめたスレかＨＰないっすかね。

>>34
専用クライアント強制はかなり良い手だと思います。
ただ、IEで手軽に使えないとユーザーの広がりがなくなっちゃう
と思うので、個人的にはブラウザだけでもなんとか使えるように
して欲しいですね。かちゅーしゃライクな ActiveX オブジェクト
作るとか。

>>45
read.cgi の手当てについては
http://www.gedoh.org/aki/2ch/wiki/yukiwiki.cgi?TopPage
を用意して下さってるので、
中期的な手段についてのまとめHP欲しいですね。

>>45
さんくす
目　通してみます

問題です。「かちゅ〜しゃ」には広告出ません。
コレを強制して鯖屋さんが納得しますでしょうか？
素人意見ですいません。

ついでにもう一つ、過去ログって圧縮掛けてｌｈａとかｚｉｐでダウンロードさせるわけには行きませんか？
回答して各自のクライアントで見る分には転送料とか掛からないでしょう？
まぁＤＡＴ落ちしていないスレには関係ないですけど、途中参入すると「過去ログ見ろ」と言われるケースも多いので・・

>49
前者は板違い。
後者は勝手に圧縮して勝手に展開するしくみが
もうじき入るっぽい。
mod_gzip ってのを使って。

>>50 圧縮しててもユーザーが見るときに展開して渡していたら
転送量削減にはならない...
ディスク消費の削減にはなるけど。

>>51
だから，違うって．

圧縮ファイルを渡してブラウザが裏で伸張する。

★【２ちゃんねる、売りに出される！】★
http://www.2ch.net/

>>53 納得！

この先どうなるんだろ？

過去ログでパスワード入力しなきゃいけないのはなんでだら〜
IDとパスワードおしえてぷりーず

過去ログのパスワードって設定ミスかと思ってたけど、
転送量削減のためなんだなぁ。

100*n番とった人は
＞＞100*n-100*(n+1)を見る
というのを書き込んだらどうでしょう？