クローラー&過剰リロード対策スレ

このエントリーをはてなブックマークに追加
576ひろゆき@どうやら管理人 ★
多数>>制限値>>規定値>>少数
規定値に触れるものを洗い出すのと、
制限する値ってのは別のほうがいい気がします。
577root▲ ★:2005/04/16(土) 07:36:51 ID:???0 BE:2736656-##
>>575
前にやったミニ雪だるま作戦による調査で、
少なくとも旧ex7、今のex10では、subject.txtへの激しいアクセスにより、
相当量のコストかかっているとわかりました。

>>576
つまり、

A)やばいやつをリストアップする時に使うパラメータ
B)実際に規制するためのパラメータ

を別にして、B > Aにするのはどうか、ってことすか。
578ひろゆき@どうやら管理人 ★:2005/04/16(土) 07:42:13 ID:???0 BE:158055-###
そです。そです。
579動け動けウゴウゴ2ちゃんねる:2005/04/16(土) 07:47:51 ID:rmIZqSyI0
ex10はVIPとニー速みたいに
subject.txtを更新、新しく立ったスレを片っ端から読み込み、書き込む、subject.txtを更新...
を繰り返すって特異なところだからなぁ・・・
他と同じとは言えないよね。
580動け動けウゴウゴ2ちゃんねる:2005/04/16(土) 07:48:37 ID:cZdYxH4f0
俺・・・ひ(ryのレス↑予想当たったよ。一字一句間違いなく完璧にな!
おやしみ。
581root▲ ★:2005/04/16(土) 07:51:31 ID:???0 BE:1095326-##
>>579
そですね。
結果をみて、そう思いました。

ただ、その傾向は他の板でも大なり小なりあるわけで、
チューニング/負荷軽減のポイントがひとつわかったという意味では、
収穫だったと。

>>578
了解です。
そのへんは、おじさんがうまく仕込んでくれることでしょう。
582ひろゆき@どうやら管理人 ★:2005/04/16(土) 07:53:21 ID:???0 BE:51124-###
たぶん、サーバごとで閾値が変わってくると思うので、
計測と規制は別のフェーズでやっていったほうが
最適値は出しやすいと思うのですね。
583root▲ ★:2005/04/16(土) 08:06:14 ID:???0 BE:2919348-##
>>582
なるほど。

Aは全サーバ共通の低めの値を設定して網をかけることにより、全体や各サーバにおける傾向をさぐる
各サーバにおける「網のかかり方」を参考にしながら、サーバごとに適切なBの値をチューニングする

ってかんじですか。いいかも。