【Love Affair】携帯からのアクセスに対する考察・次の一手 Part2
ロードバランサのスケジューラをちょっと調整。
単純ラウンドロビンから、このときのコネクション数の少ないやつにしてみた。
scheduler="leastconns"
>>549 なるほど、みてみるか。
>>550 そうなりますね。
ということで、やっぱり
>>525 をやろうかなと。
>>518 既出ですが、
違うと言う事を言っておきます
553 :
root ★:04/07/22 14:28 ID:???
ロードバランサ移動(c-others1からau用をc-au1に、DoCoMo用をc-docomo2に)の準備完了。
儀式依頼へと。
で、例によってテンポラリなつなぎかえを実施。
555 :
FOX ★:04/07/22 15:35 ID:???
r.i p.i をほぼ全て止めた。
1) bbs.cgi の 板名/i/ の更新の停止。
2) 板名/i/ はそのまま放置?
3) あと何あったっけ?
>>555 お、live8とか、更新しときます。
bbs.cgiが少し軽くなると。
557 :
FOX ★:04/07/22 15:43 ID:???
あっ まだ bbs.cgi の改造やってませんですー
>>557 あ、了解です。
止めるにあたって何をする必要があるのかと、そゆことですね。
559 :
FOX ★:04/07/22 15:47 ID:???
気が付いたことがあれば、よろしくです〜
>>546 出会い系サイトやってたときそんなログいっぱいだったなぁ
httpdがよく死んだし。OSはなんですか?
>>555 1)で板名/i/の更新が停止したのなら、2)で板名/i/からc.2ch.netの各板の
スレ一覧表示にリダイレクトするようにしてはいかがでしょ?
563 :
FOX ★:04/07/22 16:21 ID:???
564 :
動け動けウゴウゴ2ちゃんねる:04/07/22 16:25 ID:GP8ZD10e
r.i止める前にc-docomo復帰させてくれ。
黒やぎさんが止まっているようですが、作業中なのでしょうか?
そうでなければリブート要請いたしますけれども・・・
内側はpingかかるみたい。< blackgoat
内側からログインできました。< blackgoat
マシンは動いてますね。スイッチ?
ホスト側は異常なさそうですね、、、。スイッチかも。
一応、リブートしかけます。< blackgoat
rebooted. < BlackGoat
>>570 Muchas gracias.m(_ _)m
>>571 同時刻にcomic6もおかしかったみたいなので、
スイッチ側だったのかもです。
comic6:206.223.150.195
blackgoat:206.223.150.190
573 :
FOX ★:04/07/22 17:40 ID:???
>>572 comic6 (banana388) はリブートしました。
for some reason.
>>573 了解です。
いずれにせよ、今は復旧したはず。
c-docomo2、落ちたかも。
表も裏もだめみたい。
しばらく待ってだめなら、リブート要請します。
c-docomo2は完全にあぼーん?
とりあえず、c-docomoの入り口をc-docomo3に変更しませんか?
帰宅。体調いまいち。
>>578 それがちょうどタイミングの悪いことに、
負荷上昇に伴って、c-docomoをc-others1からc-docomo2に変更したばかりなのです。
うーむ。
c.2ch.netからの誘導をc-docomo3に直接行うとかは?
あがってるかな。ちょっとみてきます。
ログインしたとたんに黙った、、、。どうなってるんだろう。
ログインできたと言うことは、鯖は生きていそうって事かな?
ごくたまに(10秒ぐらい)pingかかるみたい。ううむ。
単に激重状態なだけ?
ping来るようになった。
でも、sshではいれない。
%ssh cobra2247.maido3.com
ssh_exchange_identification: Connection closed by remote host
またping止まったかも。何が起こってるんだろう。
こういうアプローチは如何でしょう?
★httpd を inetd 起動にする。
といっても、inetd で起動するのではなく、svscan -> tcpserver -> httpd -F(fg 起動) にする。
(svscan 類は稼働してますよね?(^-^) )
○利点
必要以上にメモリを食わない。接続数に応じて httpd が起動する。
httpd.conf に記述されている ServerType を standalone -> inetd に書き換えるだけ。
tcpserver -c num で接続数を制限出来る。
tcpserver -t sec. で timeout を設定出来る。
tcpserver -x filename.cdb でアクセス制御が出来る。
○欠点
接続の度に httpd が起動するので起動コストがかかる。
httpd.conf で設定された、StartServers などのポート監視などの設定が無視される。(tcpserver に依存させるため)
★MySQL 鯖を切る
標準の PHP では enable になっているかと思うけれども、利用しないのであるならば MySQL を切る。
○利点
無駄な daemon が減る。結構メモリを食べはります(泪)@MySQL さん
○欠点
おそらく ports では設定出来ないのかな?となると、ソースを拾ってきてコンパイルする必要がある。
(httpd へは DSO で食わせていると思うのでその点は設定変更は不要)
上記の設定を施した自鯖では今のところ支障なく動いています(^-^) @貧弱過疎鯖ですけれども(苦笑)
メモリ節約路線ですね。< 前者
daemontools等はもちろん動いてます(dnscache自分持ちだし)。
後者も、ありかな。(MySQLサーバではなく、MySQLとの連携機能ですね)
MySQL使ってないなら、その部分の機能はいらないですしね。
>>563 FOX ★さん、
そのURLで問題ありません。
将来的にsubject.txtの整形&表示部分もコストを少なくしたいので、
/i/index.html でリンクして頂けると助かります。
c-docomo2でのpoundの起動方法を変えました。
これで、不可解なダウンは起こらなくなったはず。
# amd64なマシンだとdaemontools配下になぜかできないみたい。原因はあとでまた。
旧c-au/c-docomo(c-others1と同じホスト)からの臨時転送をとめました。
これで今は、
1)携帯からc.2ch.netにアクセスする
2)リダイレクトでc-au, c-docomo, c-othersに振り分けされる
3)携帯は改めてc-????にアクセスする (c-????は現在それぞれの現役サーバのうち一番若い番号)
4)c-????にいるpoundがはそれぞれのサーバにロードバランスする
となります。
595 :
FOX ★:04/07/23 15:25 ID:???
板名/i/index.html の更新終了
bbs.cgi ver 20040723
597 :
FOX ★:04/07/23 15:30 ID:???
板名/i/index.html の中身はどうすればいいのだろうか、、、
1) 中身をどうする?
2) 板名/i/index.html へリンクしているところはあるんでしたっけ?
598 :
FOX ★:04/07/23 15:46 ID:???
600 :
動け動けウゴウゴ2ちゃんねる:04/07/23 15:52 ID:vhPy+CwO
とりあえず、600取っときますね。
おお、ちょと伝わっていない予感…
現在cでは、スレッド一覧を表示するのに、各板のsubject.txtをリクエストしているのですが、
出来ればこのコストは減らしたいなと考えています。
ですので、出来ればで良いのですが、
bbs.cgiが作成する/i/index.html(スレッド一覧)は、
r.iへのリンクではなく、c.2ch.netへのリンクに変更して頂けると幸いです、、、
602 :
FOX ★:04/07/23 15:58 ID:???
おおおっ なるほど、、
いったん元に戻そう。
603 :
FOX ★:04/07/23 16:02 ID:???
しかし、2ちゃんねるのサーバの要求としては
各サーバの負荷を劇的に減らすために
携帯からのアクセスはすべて c.2ch.net 系が担当する
という方針であります。
つまり c.2ch.net が担当するよりも、各サーバで担当するほうが
処理的には軽くても、追い出すという算段です。
なるほど、了解です。
そうしましたら、index.htmlの中身は、
<html>
<head><title>移転しました</title></head>
<body>
<a href="
http://c.2ch.net/z/-/dqnplus/i/">移転しました</a>
</body>
</html>
という感じでお願いできますでしょうか?
605 :
FOX ★:04/07/23 17:22 ID:???
んじゃ再度。
板名/i/index.html の更新終了
bbs.cgi ver 20040723
>>605 了解です。
で、今blackgoatの様子がおかしいかも(昨日と同じ、外部側の不調か)。
これから確認します。
607 :
FOX ★:04/07/23 17:29 ID:???
sshでも入れないですね。リブート要請します。< blackgoat
610 :
FOX ★:04/07/23 17:37 ID:???
>>609 了解デーす
でもすごく重いのは私だけ?
今blackgoatが落ちてるからですね。(
>>606 >>608)
# 裏側からログインできたのでリブート要請キャンセルしようとしたけど、
# 間に合わなかった、、、。とりあえずどうせリブートだったから同じだけど。
612 :
動け動けウゴウゴ2ちゃんねる:04/07/23 17:46 ID:Q9bAy0m0
昨日書きましたが、r.iをこの板のみ残すもしくはqb5のみ残すのは
無理ですかね。いまはPCからカキコしてるけど携帯が落ちてたときに
携帯からの手段がないと思うんですよね。。。
それかqb5のみau/docomo/othersの振り分けをなくすとか。。。
blackgoatはリブートされました。
これで元に戻ったはずですが、
外部側のネットワークインターフェースがとつぜんおかしくなる原因をつかまないと。
(昨日も起こったので)
live8, game6, news11, live12のbbs.cgiを更新。
>>605
615 :
FOX ★:04/07/23 18:26 ID:???
616 :
[―{}@{}@{}-] m01vtr021.comp.dion.ne.jpる:04/07/23 18:40 ID:7CrTbpHF
>>615 ウホッ素早い。
いまc-docomo不安定ですね。500Errorが3〜4回に1回出る感じがする。
「る」ってなんだよ。。。と事故レス
パフォーマンス出てないですね。< c-docomo系
とりあえず2台(c-docomo2/c-docomo3)ともhttpdをリスタートしてみた。
乙です
620 :
FOX ★:04/07/23 18:52 ID:???
ここまでの経過、まとめを管理人に報告した。
さて、
>>620 おつでした。
バックエンドがおかしくなると全部が死ぬとか、
c-docomo系でパフォーマンスが出なくなる症状とか、
ロードバランシングはまだまだ調整が必要とか、
たまに120秒よりも遅延が大きくなるスレがあるらしいとか、課題はまだ相当ありますが、
ベースシステムは概ねこんなかんじかなと。
さて、今後の展望は。
623 :
FOX ★:04/07/23 19:06 ID:???
>>622 各ページじゃなく、 c.2ch.net のTOPからのリンクが良いような、、、
若干の仕組みの手直しとして、現在 c-others と共用となっているけど
c.2ch.net に banana を専用に一台投入という事も考えて
そうなれば c.2ch.net 自体はそうそう落ちない気がするのだが、
将来的に/i/index.htmlは消すのかな?そうだと
>>622は無意味か。
リロードし忘れ。
>>623 そうですね。しばらくtopにリンクで安定してきたらoperate/i/を削除のほうが。
まさにその話をしているような?
大変失礼しました
既にr.i再開してますよ、この板。
630 :
動け動けウゴウゴ2ちゃんねる:04/07/23 22:54 ID:99RfAXCw
c-docomo不思議な挙動しますね。120delayがうまく機能してないような。
・立ったばかりのスレで2get等のカキコはdelay無視で即反映
・カキコが少ないスレは120以上のdelayがある。
subject.txtの不釣り合いはどうしようもないところか。
squidのキャッシュヒット率が下がってるみたい。
設定の問題か。ちょっとblackgoatの様子をみてこよう。
ディスクキャッシュを少し増やしてみた。
そういえばリバースプロクシのsquid.confの設定ってどうなってます?
自分は
cache_replacement_policy heap GDSF
memory_replacement_policy heap LFUDA
cache_dir null /tmp
とかにしてる。
squidの設定はあんまりまじめに詰めてないです。見てみるか。
blackgoatのsquidはリバースじゃなくて普通のだから、cachr_dir nullはちょっと。
cache_replacement_policy と memory_replacement_policy はデフォルトです。
squidのリバースプロキシ機能は今のところ使ってないすね。
ロードバランシングはpoundを使用。
担当を3つに分けてからはそれなりにうまくいってるみたい。
だったらcache_dir diskdのほうがヨサゲ。
Squidの開発者のベンチマークでもdiskdが桁外れに速いので推奨している感じ。
memory_replacement_policyについてはちょっと前のBSD Magazineでheap LFUDAを推奨してた。
>>637 diskdは最初試してみたのです。
で、なんかうまくいかなかった。(
>>142)
また再挑戦してみるか。
memory_replacement_policyは、機を見て別途。
640 :
動け動けウゴウゴ2ちゃんねる:04/07/24 14:02 ID:BybRJW1s
いまのところc-docomo安定してますね。ただ、まもなく16時。トラブル頻発の時間帯。
ワクワク!大曲刻!16:00
643 :
FOX ★:04/07/24 15:14 ID:???
>>643 >>594 にあるように、ロードバランサのプログラム(pound)が
それぞれの一番若い番号で動いてるからすね。
今、
携帯──c-docomo (代表)
├c-docomo2 (実処理1)
└c-docomo3 (実処理2)
となっています(実体はc-docomo=c-docomo2)。
で、
携帯─2─c-docomo (代表)
├1─c-docomo2 (実処理1)
└1─c-docomo3 (実処理2)
というふうに処理していますが、c-docomo⇔c-docomo2の処理は同一ホストなので(外に出ない)、
外から見える転送量としては、
携帯⇔c-docomoの部分の2
c-docomo⇔c-docomo3の部分の1
が見えるわけです。
645 :
FOX ★:04/07/24 15:38 ID:???
なるほどですー
も一つ、別件ですが
現在 c.2ch.net での bbspink の扱いはどうなっているのでしょうか?
上位レイヤーからの要請はたぶん c.2ch.net と bbspink の完全切り離し
ですので、c.2ch.net では bbspink は扱わない方向での作業になると思います
bbspink は当面、従来どおりの r.i p.i で、
なぬっ
>>645 中身は中の方々でないとなんともいえないですが、
たぶんbbspinkとかは入ってるですね。
うーむ。
今現在BBSPINKには携帯用トップページがないから
2chから切られたらかなりかわいそうかも。
>>645 んじゃ、bbspinkはc.2ch.netから消しときま〜す
>>645 そのうち、c.bbspink.comを作る方向なのかな?
>>645 FOX ★さん、
上位レイヤーというのは、どんな方なのでしょう?
もし完全に強制ではないようなら、
利便性なども考えると、残しておきたいですー
上位レイヤーというのはネットワークのレイヤーのことですな(^_^;)
この場合第9層かな?
2ch外のサイトの閲覧に2chのリソースを使用することとかが問題になるのかな?
>>654-655 なるほど。。。ありがとうございます。なんとなく分かったような、、、
と言うことは、強制、なのかな…?
>第9層 ポリティクス層 ネット上の問題を政治的に整備 各国の法整備
ここか、、
うーん、
bbspinkで、携帯用鯖導入をしてもらえばよいのだが、、、
そういえばまちBBSの扱いはどうなのかな。
amaの方にも書いたけど。
私家メニューでの対応に問題がなければ、c→p.iのリンクで個人的には問題ないと。
でもこうなると、それこそi.bbspink.comが急務ですな、、
# まちBBSも対応打ち切りだろねぇ、
あ、この場合の9層って「ネットワークポリシー」とか「サイトポリシー」といったものだと思う、
つまり2chでいうと「ひ(ryの意思」かな、
# 公権力が絡んでたらそれこそガクブル(AAry
>>658 過去ログサーバもこっそり兼任してもらえると
●のグレーゾーンが消えて嬉しいかも
桃色系は、ここ数ヶ月でかなり状況が動いている気がするのですよ。
トップページがきちんと整理されたり、広告掲載の仕組みができたり、
2ちゃんねるのインフラに依存してないヘッドラインができたり、etc.
ということでたぶん、
>>663 の状況も少しずつ変わりつつあるのではないかしら。
で、
>>639 ですが、
なるほどシステム値をいじってやる必要があるのですね。
機を見てやってみるです。
666 :
proxy109.docomo.ne.jp:04/07/25 10:02 ID:ACs8Qnba
delayがうまく機能してませんね。120min以下もあれば1時間更新されなかったり。
ラジオ実況カキコんだら1時間以上更新されてないや
delayの動きの謎がちょいとわかったかも。
120delayは実行されてない悪寒。そのかわり前回カキコから今回カキコまでの
間隔分がまるまるdelayとして加算されてる感じがする。
こうだとすると2getや流れの早いスレで120delayが無視され、閑散スレで反映が遅いのも
納得がいく感じ。
なぜそうなるかはわからんけど
670 :
動け動けウゴウゴ2ちゃんねる:04/07/25 23:29 ID:re7c5sAp
2ch→携帯スレにも書いたけど、23時頃からみれません
エラーでます
DoCoMoのFOMAのP2102浸かってます
2ちゃん見れないと激しく鬱です
_| ̄|○
22〜23時にかけて軒並み負荷上がってましたね。
何かトラブルでもあったのかな?
672 :
FOX ★:04/07/26 01:10 ID:???
あとで、root★さんに調べてもらいましょう。
>>670とかのエラーと何か関係があるのかな?
あと、live8もほど同じ時刻に死んでいたみたいだけど、関係あるのかな?
>>671-673 倒れている主人に口頭で伝えました。
「申し訳ないけど、明日以降で・・・」
と言っていました。
>>674 お体にはくれぐれもお気をつけくださいと
お伝えください。。。
>>674 いつでもいいですよー
ちょこっと見た感じでは、特にエラーは無かったです。
678 :
FOX ★:04/07/26 11:46 ID:???
>>673 >>677-678 ふうむ、live8のダウンがおおいに影響していそうですね。
blackgoatが落ちたときはともかく、人気があるところが一つ死ぬとこうなるのは、、、。
>>679 >>572 にもあるように、アドレスが近いですね。同じスイッチなのかな。
昨日のcomic6の不調(live8が落ちてしばらく後にcomic6も不調になった)も、
何か関連しているのかも。
>>680 あ、どうもありがとうございます。元スレの方で、継続観測してみます。
今晩も起こるかどうか分かりませんがw
タイムアウトを5秒にしてみました
なんかレスポンスが悪いような気がする。
トップとかはそこそこ軽いが、スレッドは重い。
BlackGoatの負荷が重くなってるのかな?
転送量規制にかかっているとか。。。
と携帯から妄想してみる
>>685 例の、blackgoatが「あふれ出す」時間と一致してますね。
diskdいれてみるか。
まず、
cache_replacement_policy heap GDSF
memory_replacement_policy heap LFUDA
にしてみた。
diskdを入れるにはkern.ipc.msgmnbとかをいじる必要があって、
それはrebootしないとだめ(sysctlでは不可)みたい。
というわけで、アクセスの多い今の時間はとりあえず保留。
cache_mem を 80 MB に増やしてみた。
負荷が下がったみたい。
あと、cache_swap_lowとcache_swap_highはどうすればいいのかしら。
ちなみにキャッシュディレクトリ(ディスク)は十分おおきいです。
>>690 横からすんまそん。
cache_dir で指定したキャッシュの容量が大きければ、cache_swap_low _high の
差は数百Mbyteにもなるかもしれません。そのためこの2つの数値を近づけた方が
いいかも… って記述しかありませんなぁ…
とはいえ、_low、_high ってヒステリシスなしきい(←なぜか変換できない(素))値やから
あまりシビアな設定にすると、酷い事になりそうやし。
とりあえず、デフォルトの 90、95 で様子を見て調整という、いつものパターンでしょうか?
#IME2002のあふぉたれめ。閾が「しきい」で変換できんやんけ
「いきち」が正しい、はず。
「しきいち」でも「いきち」ちゃんと閾値ってでるぞ IME2000
>>691 実際に大きいので、近づけてみるか。
もうちょっとしたら、blackgoatの設定変更やります。
DDoS食らってる状態になるんだよ みんなリロードしまくるでしょ
diskd化完了。
結局、以下をblackgoatのカーネルに入れて再構築&リブート。
# for squid cache
options MSGMNB=16384 # max characters per message queue
#options MSGMNI=40 # max number of message queue identifiers
#options MSGSEG=2048 # max number of message segments in the system
#options MSGSSZ=64 # size of a message segment (Must be 2^N)
options MSGTQL=1024 # max amount of messages in the system
ちょと確認させて頂きたいのですが、
メニューの中身があるサーバは、
c-au1.2ch.net
c-au2.2ch.net (docomo1.2ch.netと同じ)
c-docomo2.2ch.net
c-docomo3.2ch.net
c-others.2ch.net (c-others1.2ch.netと同じ)
の5種類ということで良いでしょうか?
>>697 c-othersのところは他同様、以下が正しいかと。
c-au1.2ch.net
c-au2.2ch.net (docomo1.2ch.netと同じ)
c-docomo2.2ch.net
c-docomo3.2ch.net
c-others1.2ch.net
maximum_object_size_in_memory をデフォルト(8kbytes)から
1024kbytesにふやしてみた。
これで、datがうまくメモリに乗るようになる?
# TAG: maximum_object_size_in_memory (bytes)
# Objects greater than this size will not be attempted to kept in
# the memory cache. This should be set high enough to keep objects
# accessed frequently in memory to improve performance whilst low
# enough to keep larger objects from hoarding cache_mem .
#
#Default:
# maximum_object_size_in_memory 8 KB
maximum_object_size_in_memory 1024 KB
c-others1、調整中。
>>701 done.
c-docomo[23]、調整中&済み。
c-au[12]、これから少し調整します。
とりあえずdone.
しばらくチェック。
LAそのものはそれほどでもなく、入り口で詰まっているようなので、
様子をみながらhttpdの数を増やしてみた。< 各c-xxxx
臨時にアクセラレータをはずしてみる。もたないか、もつのか。< c-docomo2
ん、アクセスが多いときは、苦しい模様。< c-docomo2
アクセラレータ(キャッシュ)を入れるとamd64ではやや不安定。
アクセラレータをはずすととてももたないのか。
c-docomo2、ほとんど瀕死かも。
c-docomo系が死んだら、c-au系やc-others系のhttpdが捌けるようになった。
blackgoatのI/O処理が滞っていたのか。
Zend-optimaizerの方にしてみるとか。。。
root ★さん、
参考までに、docomo2でのスクリプトの各ポイント毎の単純な処理時間です。
総処理 = 0.50580286979675
├初期化 = 0.0017189979553223
├スレッド表示 = 0.50293588638306
| ├ソケット接続〜切断 = 0.5008430480957
| └上記以外の処理 = 0.0020928382873535
└上記以外の処理 = 0.001147985458374
やはり、datを全て読み込んで処理するので、そこがネックになっているようですね。
どうも。
>>710 datをとってくるところが重いですか、、、。
c-docomo2、ログインもできないぐらいつらい状況。
しばらくだめだった場合、リブート依頼します。
BlackGoatへのソケット接続〜切断までの間では、
"レス番1と指定のレス10個分を配列に格納する"という以外の処理は行っていないのですが、
最新10スレッドなどの表示では最後まで読み切らないといけないので時間がかかりますね…
これからリブート依頼します。< c-docomo2
>>712 そうですね。
blackgoatのディスクはストライピングにして、
かつnewfs -b 65536 -f 8192などとやってあるのですが、
そろそろI/O性能が苦しい状況なのかも。
今比較のために、一時的にaufsに戻してみた。
*感覚では*、diskdのほうが遅いような気がします。
統計的にも「漏れる」量が多いみたい。< blackgoat
>>712 初期読み込みのデフォをレス番1〜11に変更してみては?
それで統計取ってみて、最新を取る回数が多かったら戻すとか
デフォルトで、1〜11が表示されたら、その後、最新レス10を実行するから、
余計負荷がかかってしまう。
cache_dir diskd /usr/local/squid/cache 100000 16 256
を、
cache_dir diskd /usr/local/squid/cache 100000 64 256
にして、squid -zの後にdiskdモードを復活させてみた。
>>715さん、
以前i2chでの統計を取ったのですが、
全アクセス中1/3が最新スレッドへのアクセスでした。
ですので、やはり
>>716 ◆BFzK/mtqM2さんの仰る通りになってしまうかもです…
cobra2247にログインできました。リブートして、調整中。
cobra2247 = c-docomo/c-docomo2
設定更新&リブートかけました。正常にもどったはず。
こんどは、BlackGoatがおなかいっぱいか。
LAは低いけど(プロセスが多いわけではないので)、ディスクI/Oがかなり苦しめの予感。
Disks ad0 ad1
KB/t 25.34 22.48
tps 133 141
MB/s 3.29 3.09
% busy 75 82
%iostat -w 1 -c 10
tty ad0 ad1 cpu
tin tout KB/t tps MB/s KB/t tps MB/s us ni sy in id
0 39 25.71 63 1.58 22.53 68 1.49 19 0 29 16 37
0 180 17.53 47 0.80 18.17 48 0.85 39 0 45 16 0
0 59 25.94 200 5.07 24.00 201 4.71 28 0 63 9 0
0 59 31.13 260 7.89 30.37 272 8.08 34 0 61 5 0
0 239 20.51 90 1.80 18.86 97 1.79 32 0 44 25 0
0 59 25.98 164 4.17 22.70 152 3.38 39 0 50 11 0
0 59 23.82 89 2.07 20.53 98 1.97 29 0 45 26 0
0 59 23.95 160 3.75 22.97 146 3.27 39 0 51 10 0
0 59 26.05 81 2.06 22.52 91 2.00 36 0 35 28 0
0 60 26.57 278 7.21 21.11 278 5.73 36 0 64 0 0
パフォーマンスが出ないため、
>>717 を前の設定 (16 256) に戻した。
お疲れ様です。
BGへのタイムアウト、もう少し短くしてみますか?
bbs.cgiで、逆順のdatも作るようにし、c.2ch.netやread.cgiの初期読み込みではそちらを
使うようにするとか。
キャッシュヒット率が下がって逆効果かな?
>>724 今dat取得のタイムアウトは5秒でしたっけ。
タイムアウトを早めると、タイムアウトが頻発するのかな。
今ちょと新しいスクリプトをあげてテストしているのですが、
先程の重い時間帯で3秒設定だとまずタイムアウトです。
5秒でもほとんどタイムアウト状態でした。
タイムアウトで
「今BlackGoatが思いです。。。」とか表示すれば、
リロード抑制にもなるかもですね、、、
5秒超にはしたくない感じです。
大規模squidのボトルネックはHDD回りなので、できればcache_dir用にスライスを確保したほうがいいかも。
noatimeは当然として。
asyncでもいいかも。
容量があんまり小さいスライスだとoptimize TIME to SPACEを食らうので4倍以上で。
あと外周部分にあるとうれしいので/の次に確保してたり。
>>729 いまこんなかんじ。
ccd使って、2本のIDEディスクをストライピングで使用。
/dev/ccd0は、newfs -U -b 65536 -f 8192で初期化。
%pwd
/home/squid_local/cache
%df -k .
Filesystem 1K-blocks Used Avail Capacity Mounted on
/dev/ccd0 136319544 35531976 89882008 28% /home
%mount | grep home
/dev/ccd0 on /home (ufs, local, noatime, nosuid, soft-updates)
%cat /etc/ccd.conf
# ccd ileave flags component devices
ccd0 64 none /dev/ad0s1f /dev/ad1s1d
ひどいときには両ディスクとも% busyが80%ぐらいになるですね(
>>722)。
途中割り込みでスマソです。
>>730 IDEのストライピングだとつらそうですね。
かといってUltraSCSI320のそれにしようとすると余計な投資になるし・・・
blackgoat自体がキャッシュサーバですから
RAMディスクで捌くってのは・・・すでにやっているんですかね。
>>731 メモリディスクか。
現時点では入れてないですね。
squidのプロセスが400Mを超えるようなので、メモリディスクはちょっとどきどき。
というか、入れるとしたらどこがいいのかな。
>>732 その400MBプロセスなsquidってどこのやつですか。
>>733 あ、blackgoatのでつねw
wikiに書いてあるの忘れてたw
ちょっと考察。
携帯からのある意味実況レベルに近い通信要求を
バックエンドを1台で捌くというのはかなりきついと思います。
しかもblackgortが落ちたら携帯からのアクセスは不可能。
投資ができるなら、の話ですが、
もう1台バックエンドを用意して負荷分散させたほうがいいかもしれません。
どちらかのバックエンドが落ちたときにバックアップさせるという意味合いもあるし。
1) フロントエンドを充実させて需要に見合う供給をおこなった。
2) 当然、BlackGoatは大忙し、
3) この大忙しを解決する方法は当初の予定通り、BlackGoatの仕組みで行う
というように順調に予定通り進んでいるということですなぁ。
せっかく作り出した重い状態。せっせとデータを取らなければ、、、
BlackGoat の各種データをとって、思考実験(机上演習)です。
帯域等は現在取っているので、アクセス数やそのへんも何とか
データが取れないかな? とい段階かと、
BlackGoat を増設するのは考えないで行きます。
だってすぐ解決しちゃうもん。
>>735 負荷分散しても片方が墜ちると共倒れになる悪寒ですよね。。。@基本的に片肺でも生きていかないと・・
ちょっと考察。
最新 10 スレの取得方法案。
HEAD で DAT の Content-length を取得。
Content-length から 20480 引いた場所から末尾まで取得。( 1 レスは最大で2048Bytes でしたっけ?)
Range: bytes=(Content-length-20480)-(Content-length-1)
\n を区切りにして、末尾から 10 レス取得。
my @Part_Log = (reverse split /\n/,<DAT>)[0..9];
演算が増えるけれどもその分、 DAT 採取のコストが幾分か下がるのではないかと。。。
もしかして、分割して取得するとキャッシングがうまく効くのかな?
例えば。。。
活きのいい DAT があっても、全取得となるとキャッシュが効かないはず。
でも、例えば先頭から 4KB は活きが良くても悪くても、内容はあぼーんが入らない限り変わらないはずなので、
この部分は ETag: を使って照合すれば、うまくキャッシングされているのではないだろうか?と。
ただし、ETag の管理をするために、また複雑な操作が必要になってくるかもかも。。。
(殊に呼び出し側の c-* 族の I/O 処理とかとか)
>>736 そのとおりっすねぇ。
いろいろ試行錯誤してるわけですが、スキル不足のためなかなかはかどらず。
なかなかつらいすけど、いい経験させていただいているぐらいに思うのがいいのかも。
アクセス数は負荷を上げない方法でぜひとりたいですね。
例えばどの時間にどの板に要求が多いのかとか、とりたいことはいろいろ。
>>735 >>737 バックエンドを2台(横並び)体制にするなら、何か考える必要があるすね。
いずれはそうなることも視野に入れる必要がありそう。
そこで、BlackGoat に疑惑が集まっているのですが、
この辺が明らかになればいいなぁ。。。
1) 観測された c.2ch.net に起こった現象 (docomoが重いとか、)
2) 推測される原因 (BlackGoatの反応が遅すぎ)
3) BlackGoat に起っているであろう現象、具体的な症状の推測 (LA の増大とか)
4) 実際にその具体的な症状がせ起っているか、
5) 起っているなら、解決策は?
ここで重要なのは、 3) -> 4) の関係です。
3) で推測して、実際に 4) で現象が起っているかどうかの確認。
確認手段が無い場合は、手段を作る。逆に、こうすれば解決するのでは?
という作業は間違っても行ってはいけない。
>>740 > 逆に、こうすれば解決するのでは?
> という作業は間違っても行ってはいけない。
きもにめいじます。
>>740 で、いまのところ起こっているのは、ディスクI/O負荷の増大なわけです。
あとは、苦しい時間(昼とか夜23:00ごろとか)に、キャッシュの効きが悪くなる。
いずれにせよ、観察・確認できる手段をなんとかする方向で動いてみます。
とりあえずsnmpあたりでつついてみるか。
>ディスクI/O負荷の増大なわけです
という推測があった場合、
じゃ具体的に、定量的に BlackGoat でどういう数字がでているかを推測して
かつ実際に計測して、どうなっているか、、
もし推測と実測値が極めて一致したならば
最初の命題「ディスクI/O負荷の増大なわけです」
という推測がかなりピンポンであるといえるかと、
もし他にもこの図式がなりたてば、ほぼ確実といえるかと、
>>740 資料が無いのでどうしても机上の空論だけになってしまいますよね(汗)
って事でもうしばらく静観してます m(_ _)m
>>739 そうですか。
現状では1台でなんとかなっていますし、
今のうちに問題点を洗っておいたほうが良いという
>>736の狐の内臓の人の意見には同意です。
とりあえず
>バックエンドを2台(横並び)体制にするなら、何か考える必要があるすね。
>いずれはそうなることも視野に入れる必要がありそう。
みたいな認識で十分かと。
>>732 400Mって。
squid.confはちゃんとmemory_pools offになってますか?
デフォルトはonなのですがメモリ管理はカーネルに任せた方がいいのでoffにしないと。
http://mumumu.mu/mrtg/mrtg-rrd.cgi/loveaffair/ >>746 いまこんなかんじすね。
PID USERNAME PRI NICE SIZE RES STATE TIME WCPU CPU COMMAND
32057 squid -8 0 398M 395M biord 59:41 20.41% 20.41% squid
memory_poolsはデフォルト(on)。
onとoff、どっちがいいのかな。
# blackgoatはmemory 1G積んでます。squid以外の仕事はしていない。
突然軽くなったかも。
で、またすぐに重くなった。
パケット落ちはないから、ネットワークまわりやスイッチ関係じゃなさそうだなぁ。
--- comic6.2ch.net ping statistics ---
201 packets transmitted, 200 packets received, 0% packet loss
round-trip min/avg/max/stddev = 1.948/10.371/116.189/14.277 ms
う、激しく誤爆した。
OpenJaneを立ち上げなおそう。すまそ。
memory_pools はoffのほうが良いです。
BSD Magazineのシステムチューニングの回参照
memory_pools off にしました。
>>755 にすると、
2004/07/28 20:38:59| assertion failed: comm.c:751: "p != NULL"
というエラーが出て、squidが死ぬ模様。
後で調べることにして、いったん退却(memory_pools onに戻しました)。
>>757 8. Key changes squid-2.5.STABLE5 to 2.5.STABLE6:
* Several "Assertion error" bugs fixed
これの関係かしらん?
>>758 今のもの:
2004/07/28 20:41:01| Starting Squid Cache version 2.5.STABLE5 for i386-portbld-freebsd5.2.1...
…つまり、STABLE6にしろと。
STABLE6に更新して、再度挑戦中、、、。
だめですね。やはり出ます。
2004/07/28 21:54:12| assertion failed: comm.c:751: "p != NULL"
もとに戻しました。
764 :
FOX ★:04/07/29 15:59 ID:???
この一時間のcomic6の様子ですが、、、
comic6.2ch.net サーバ
.dat 呼び出し回数 = 59632
deny from 206.223.150.190 #(7465) 12.52%
BlackGoat からこんなにたくさん。。。
これで正常なのか、異常なのか、
>>764 15:00(JST)台ですか。
アクセスログを確認してみます。
>>763 投げるべきでしょう。結果は期待できないですがね。
「やるべき事」と本質がずれてしまいますが(squid の bug 探し、潰し)…
squid 本家に投げてみるというのも、手かもしれない。
bug track 見てる限りでは、comm.c での assertion faild は出てないみたいですね。
チト source 引っ張ってきて覗いてみたら、
1.何か(すんません、真剣に見てません)の handler 削除のために、
comm_remove_close_handler() call
2.削除対象探索 in comm_remove_close_handler(), comm.c
が、探索のキモの部分が for(xxxx; p != NULL; xxxx) になってて、探索対象が
見つからなければ、for() を抜けて、assert(p != NULL); で落っこちる。
つうことで、多分 memory_pools off の時に、無用な comm_remove_close_handler
call が起こってるんでしょうなぁ。
んーそこで落っこちるということはsquid.confで矛盾した設定をしているような気が。
DATをかっさらう悪用で.htaccessで携帯メニューをダウンさせる不届きものが…。
(パクリトロスの2ちゃんねるアーカイブとか言う香具師)
対策しないと、c.2chに円滑に移行出来た所で本末転倒では…。
ただいま帰宅しました。
とりあえず、i.i2ch.netの方は再開しました。
さてこのあとどうしましょうか? > ひろゆきさん、FOX★さん、root★さん
(1) 現状のまま219.113.242.218から直接差分を取る。
(2) GlackGoatを通して差分を取る。
(3) GlackGoatを通して差分せずに取る。
(4) 私家版GlackGoatを作るって、そっちで(2)か(3)
他の私家板(domo2.netなど)にも、開放できるように(4)というのもありなんじゃないかと思ったりして、、、
>>776 たぶん
×GlackGoat
○BlackGoat
BlackGoatが落ちたりしたら、私家版全てが使えなくなるってのモナー。
今回のはミラーでディレイ0秒になってたからでそ。
ディレイ60秒くらいにしてやれば、問題ないのでわ?
ディレィ調節は本当に意義があるのか?
2ちゃん側にとってはありまくり
実況で重婚
783 :
782:04/08/01 10:54 ID:CAXZIMEU
実況でディレイで新着が見られない
↓
新着と同じレスしてしまう
↓
重婚発生
↓
鯖資源の無駄
そもそもディレイなしでも携帯で実況すれば
重婚しまくると思われ
ディレイ調節は、不便だけで、あまり絶対的な効果はないような???
>>785 間にBlackGoatのような
大規模キャッシュがあり、
同一スレについて複数
リクエストがあっても、
最低60秒は更新しない
とかなら有効だと思います。
有効ではなく絶対的な効果があるのか?と聞いているのですが…。
単純な個人ユーザーにとって、2分間のディレイは大変な不便を感じています。
>>783と同様の事になる。
あと、実況以外でも”からけよめ”と煽られる。
絶対的な効果ありまくりです(^_^;)2chの掲示板サーバの負荷が二桁くらい下がる
システムが落ち着いたら、c系のディレイ60あたりにしません?
120は結構不便なような気がするのですが、、、
>>787 不満でしたらマシン代を寄付してやって下ちい
ここも夏色気分の香具師が多くなってきましたね
昨日の20時ころからHIT率が下がっているけど、何か設定変えましたか?
5分遅延すれば実況とかチャットとかは機能停止させられるような
c-docomo2の負荷が突出してる(^_^;)なんだろう?
>>796 c-docomo3 の 16:03 JST(00:03 PST+8PDT) の cron で、何かがすっころんでる悪寒ですね。
c-docomo3 の中には入れないのであくまでも悪寒ですけれども。
海外出張中につきレスポンス悪いです。
>>792 1)技術的にはもちろんできますが、そうすると全部1箇所で処理するようになりますからね。
ちょっと負荷的に。あと、cに何かあったときに全部落ちることにもなるので。
携帯だとブックマークに入れて処理する人が多いようなので、
最初の振り分けのところは、あえて名前を変えて飛ばすようにしていたりします。
2)これは簡単です。
3)2)は不都合ないしそれによる副作用も特にないので、入れてみてもOKです。
でも、意味あるのかな。
わざとアクセスしないと、auでc-docomoにアクセスすることはないような。
>>794 夜の時間とか昼休みの時間は、どうも多くの板の多くのスレにアクセスがいくようで、
ヒット率が下がる傾向にあります。
時間あたりのアクセス数が多くならないのは、ひょっとすると携帯キャリア側で
何か口を絞っているのかも。
>>796-799 例のdaily処理問題かも。ううむ。
>>800 > でも、意味あるのかな。
> わざとアクセスしないと、auでc-docomoにアクセスすることはないような。
そうでもないです。URLを貼る場合に、仕組みを知ってる人ならc.2ch.netに置き換えて貼るでしょうけど、
知らない人はそのまま貼るでしょうから。
>rootさん
海外出張お疲れ様です。
こまめに水分補給してくださいね。
なるほど、確かにアクセスが増加する昼時と夜は下がりますね。
>>800 ありがとうございます。
そうしましたら、2)を入れて下さると幸いです。
これは
>>801さんも仰っている通り、
誘導レスがあっても、キャリアが違うと人大杉になってしまう、
という問題の解決のためです。
これにより、以前指摘された、
削除依頼時や誘導時の不便さもある程度解決されるかと思います。
read.cgiや各2chブラウザなど各ツール側で、
レス整形時にc.2ch.netに書き換えて頂ければ問題無いのですが、
それですと大掛かりになってしまいますので、
Love Affair側での対応で何とかできればと思います。
よろしくお願いいたします。
806 :
◆EA.clAssIc :04/08/04 02:51 ID:5rAZylPf
>805訂正。
× 本日、2:40頃に
>>497 の機能削減版スクリプトを導入いたしました。
○ 本日、2:00頃に
>>497 の機能削減版スクリプトを導入いたしました。
機能削減版は、テンキー操作デフォなんですね
>>807さん、
そうなんですー。
パケ代削減、という枷を外したので。
今後の段階としましては、
1) 表示スレ数、レス数等を設定できるようにする
○読込数の抑制
×転送量の増加
2) 最新10スレッドを、/板/html/xxxxxxxxxx.htmlから取得する
○ソケット接続時間の短縮
×キャッシュヒット率の減少
をやっていこうかと。
それぞれ長所短所がありますので、まずは数値をはじき出すところから。
一度に表示するレス数だけでも設定できるようにできないでしょうか?
それよりもレス全文表示の設定出来るようにして〜
省略表示だと見るのがめんどくさ〜
812 :
FOX ★:04/08/04 15:49 ID:???
以下のサーバを 2ch LAN (c.2ch.net用)に接続しました。
oyster244
oyster245
banana402
oyster244とbanana402は何に使うのかな?
ハードウェア不良で掲示板運用を離脱したbanana402、こちらで戦線復帰ですか。
で、blackgoatはあくまでソフトウェア的解決を目指すということなので、
単純な予想
cobra2244 = c-docomo4
banana402 = c-au3 or c-others2
banana402をBlackGoat2にして、負荷分散で
cobra2244はBBM関連かな?
BBMってoyster245でやってたような。(m.2ch.net)
244はドコモの3台目(4台目?)になると予想。
auをpeko鯖にして、
BlackGhostの負荷耐性がどのくらいか
チェックするんじゃなかったけ?
c.2ch.net系列のメンテナンスをさせて頂く事になりました。
docomo3のLAが 20040807 16:00 から、
前比2倍くらいの数値を出しておりますが、
この時間、何か設定等変更されましたでしょうか?
じさぼけぼけ。
>>818 おお。(今後とも)よろしくお願いします。
その時間は特に触ってないですね。
>>819 お帰りなさい&よろしくお願いします〜
了解です。
先程、16時前後に最新レスに限って、
xxxxxxxxxx.htmlをリクエストするように仕様を変更しました。
BGのキャッシュヒット率の動向に注目したいですー。
16:00と言えば例の定時処理かな?
824 :
root ★:04/08/11 05:19 ID:???
残りの作業は、
・違ったキャリアのURLへのアクセスから、正しいキャリアのものに誘導するしかけ(難しくない)
・クラシックさんからメールで頼まれた作業をぼちぼち
かな。
で、一両日様子を見た後で、フロントエンドにもsquid入れて、
Apacheがブロックしないように策を練ってみるか。
cobra(・ω・)カルイネ
Peko鯖ってすごいね。。。。
http://mumumu.mu/mrtg/mrtg-rrd.cgi/loveaffair/ ということで1日動かしました。
まだ継続的な観察が必要そうですが、
blackgoatの倍のヒット率を処理できている模様。
またblackgoat2では、今まで観測されていた
アクセスピーク時におけるキャッシュヒット率の急激な低下=>トラフィックの漏れ出しが
かなり少なくなったようです。
つまり、
ピーク時間に漏れ出るトラフィックが少なくなる => ピーク時間の他のサーバへのdatリクエスがト減少 => 負荷軽減
という効果があったと。
>>827 × blackgoatの倍のヒット率を処理できている模様。
○ blackgoatの倍の時間あたりヒット数を処理できている模様。
おやすみなさい。
まちとぴんくを一旦c.2chに復活させて、実際に転送量がどれくらいあるかをみませんか?
とりあえず黒山羊さん1号に飛ばしてみるとか、
もう一台のbananaを黒山羊さん3号にして、別々にプロキシ設定してみるとか、、、
ところでFOXさん、まちも分離の方向でよいのですか?
>>829 桃色系をblackgoat1号で処理して統計とるというのは、
仮にPINKちゃんねる側で今のc相当のものを準備する場合、
どの程度の設備が必要かの判断に使えそうですね。
PINKちゃんねるは現在拡大路線なので、これによって必要な設備規模がわかり、
かつ設備に対する効果が有用であるという判断がなされれば、
はれて投入の道も開けるかと。
ということで一時的に期間限定で復活させて、データとってみますか。
blackgoat1号のほうは、昼ぐらいまでにいったんキャッシュクリアして前準備しておきます。
>>830 そうですね。
Banana1台ですむのは明らかだろうけど、
実際にどのくらいの規模なのかいまいちつかめないので、、、
ソースの方はいじっておきますので、準備が出来たら連絡ください。
設定したです。
c-au2(c-docomo1)が重い。。。
どうしたんだろう?
ping traceroute それぞれは通りますが、http 、ssh は不出。 ftp 劇重たいですね。。。@banana404
ということで、リブート要請出しますー
おつでした。
たしかにようすがへんだ。みてきます。> c-au2
数分でログインはできる模様。
>>835 あ、ちょっと待っていただけると。
ログインは出来ました。
9:21PM up 21 days, 12:43, 2 users, load averages: 333.31, 283.91, 192.05
httpdを再起動してみた。< c-au2
>>840 おつです。
新しく入れたPHPをキャッシュするところで何か起こったのかな?
それとも、変更したもののバグ?
>>837 I'm freeze it.(^-^;)
なんだかわかりませんが、httpdが超高負荷状態に。
エラーログにはこんなものが。
httpd in free(): error: recursive call
httpd in free(): error: recursive call
syslogとかには、ハード異常とかそれっぽいのは見当たらないなぁ
その他のログにも、変な形跡はない模様。
更新したところで起きたようなので、アクセラレータとのからみの問題か、、、。
しばらく観察ということで。
やっぱり、スクリプトを入れなおしたときに、何か起こったのかな。。。。
847 :
ぴんく丼 ★:04/08/12 13:54 ID:???
>>830 広告関係でオーナーから物凄いクレームが毎回来るので
出来ればやめて欲しいです(or 物凄く短期間にして欲しい)
頼みます、頼みます、
何度激しく起られたことか、、、
>>847 了解です。
1日限定ならOKかな?
もっと短く?
まずは、2ちゃん管轄の広告を消しましょうか?
あと、可能であれば、ぴんくちゃんねる管轄の広告をだすとか、、
850 :
ぴんく丼 ★:04/08/12 14:00 ID:???
実験でやるなら、やらないで欲しい、
向こうも広告の方は統計とっているので直ぐに変化がわかるから、
完全に分離してくださいー
つまり c.2ch.net からは bbspink.com はどんなことがあってもアクセスしない。
たぶん そのうち deny等 する事になると思います。
よろしくお願いします。
>>847 そういう事情ですか。
では、24時間限定でいきましょう。
明日の14:00でばっさり止めるということでいかが。
で、
>>849 は、c.bbspink.com (仮)とかを作る方向で考えればいいかなと。
( 参考
>>830 )
了解です。
じゃあ、中止しましょう。
ぴんくちゃんねるで、本当にc.bbspink.comが必要になったら、その時にやりましょう。
書き込む前にリロードしましょうネ
(1)今すぐやめる
(2)1日限定
(3)c.bbspink.com(仮)を作る
どうしましょうか?
855 :
FOX ★:04/08/12 14:12 ID:???
質問です
c.2ch.net を一週間ぶっつづけでダウンタイムなしで動かすには
どうしたらいいのだろう?
さらに一ヶ月だったら?
>>850 >>852 了解です。
そこまで理由が明確であれば、「分離する方向で」ではなく「今後完全分離」かと。
c.bbspink.com についてはbbspinkの板などと同様、bbspinkのオーナー・スポンサー方面の意向で。
>>854 私は「明日の14時までに限定、今後c.2ch.netでの復活なし」でよいと思いますがいかが。
>>855 系全体として、c系のサービスダウンをさせないように、という意味だと理解しました。
金がかかる方法(力技)はたぶんいろいろあるけど(わりと確立している)、
できるだけ知恵で解決できないか、というのが質問の趣旨かしら。
858 :
FOX ★:04/08/12 14:24 ID:???
>>857 すべての方法の中から、最善手を考えたいです。
「サーバを六台投入すれば一ヶ月もつ」とかが知りたいです。
なるほど。
>>858 それじゃ、これまでわかったことを下敷きに、グランドデザインを考える必要がありそうだ。
大方針a)落ちないように、専用の機器等を使ってガチガチに固める
大方針b)落ちるものと仮定して、一部マシンが落ちても大丈夫な構成でシステムを組む
が、まず大きな分かれ目になりそうですね。
# 個人的にはb)乗りです。
で、「見切り」をどこに作るかが次のステップか。
例: フロントエンドとバックエンドを接続しているネットワークはこわれないとみなし、二重化しない、等
b)でしょうね。
a)は金がかかりすぎると思う。
862 :
FOX ★:04/08/12 14:42 ID:???
勝手にいろいろい仮定して一つの案を出してみると、
仕組み的にはこれまでやってきた方法の延長線上でok
(新しい仕組みを作るにはさらに数ヶ月かかりそうだから)
で、知恵も絞りつくしてあとは若干の性能向上が見込めるだけ、
ということは、物量作戦なのかな?
BlackGoat 二台増設
au banana 四台増設
docomo cobra 四台増設
others banana 二台増設
c.2ch.net banana 一台で独立
これだけあれば九月を乗り切れる
とか、
ちと、今日はしばらく忙しいので手短に。
>>862 つまり横並び作戦(当初路線の延長線上でいく)ということですね。
どのパーツがどのくらい必要なのかは、これまでとった統計情報から見積もってみるかんじで。
あと試してみたいソフトウェア的な知恵としては、
フロントエンドにsquidを入れて、httpdが満員にならないようにするぐらいですかね。
それか、キャリア毎に分けるのをやめてしまうとか。。。
BlackGoat banana 二台 (取り込む鯖で分ける)
c-x cobra 四台 (同じスペックの方がいいんだよね)
c.2ch.net banana 一台 (ロードバランサ)
BlackGoatの増設だけで結構いけるんじゃないかと思ったりするんですが。
今のところ、au、docomo、otherに分けている目的って分析だけ?
キャリア別フロントエンドは既定事項
理由・目的は誰かさんの深謀遠慮
アクセス数が横ばいなら、BlackGoat増強だけで解決しそうですね。
いまのところ、bbspinkは2chのほぼ1/10程度ですね。
浸透していない、かつ、r.i/p.iが生きているのでこれくらいなのかもしれませんが、、、
キャリアごとに分けるの止めると、フロントの数減らせそうだけどな。
あと、一台が落ちても他のに分散して耐えしのげそうなんですけど。
どうなんだろ?
キャリア別って速度で分けるためじゃないの?
872 :
FOX ★:04/08/13 05:08 ID:???
>>823 現在の構成をこのスレッドに書いていただけるとありがたいです
>>507 からどの様に変化しているのですか?
>>872 FOXさん
フロント側の構成は
>>507で変更ありません。
>>507の時は、BlackGoatにbanana406を使っていましたが、
アクセスピーク時(22:00頃〜2:00頃)におけるキャッシュヒット率の急激な低下
つまり、トラフィックの漏れ出しが発生していました。
そこで、ためしにcobra2244を使ってそのあたりが改善するかを調査中です。
874 :
FOX ★:04/08/13 05:41 ID:???
つまりこうかな?
フロント(受付嬢)
c.2ch.net (banana405)
|- c-au1 (banana403) -|
|- c-au2 (banana404) -- 二台でロードバランス
|
|- c-docomo2 (peko247) -|
|- c-docomo3 (peko246) -- 二台でロードバランス
|
|- c-others (banana405) - c と共用
バック(黒山羊さん)
BlackGoat #1 (banana406) - 休止中
BlackGoat #2 (cobra2244) - 稼動中
875 :
FOX ★:04/08/13 05:44 ID:???
>アクセスピーク時(22:00頃〜2:00頃)におけるキャッシュヒット率の急激な低下
>つまり、トラフィックの漏れ出しが発生していました。
>そこで、ためしにcobra2244を使ってそのあたりが改善するかを調査中です。
この部分なんですが、背景等を解説していただけるとありがたいです
1) キャッシュヒット率の低下がなぜ起るのか?
2) なぜcobra2244 (pekoサーバ) を使うと解決すると予想したのか?
等々
>>875 FOXさん
そのあたりの技術的なものは、rootさんに正確に答えてもらった方がいいと思うので、
rootさんの回答待ちということで、、、
一応、1日経過時のrootさんの考察が
>>827-828にありますので、参考にして下さい。
現在のシステムでは、bananaなBlackGoatでは処理能力不足
そこで、
(1)BlackGoatへのリクエストの量を減らす → 簡易版メニューでの実験
結果、多少改善されたが、負荷ピーク時はBlackGoatに繋がらない状態が頻発
(2)BlackGoatの処理能力を上げる → Cobraで実験
負荷ピーク時でも、BlackGoatに繋がらない状態は起こっていない
次は、じゃあBlackGoatに必要な処理能力はbanana何台分?
になるのではないかと思います。
bananaに搭載されているPen4コアって北森ですか?ぷれすこですか?
用途を考えるとL2の容量差もヒット率の違いに絡んでいそう。
仮にそうでなかった場合は
・peko/Cobraもう一台をblackgoatとして投入
・各フロントエンドサーバと各blackgoatの間は
すべてGbE化して間にロードバランサを挟む
ぐらいのことをかんがえないといけなくなるかも・・・。
879 :
FOX ★:04/08/13 14:28 ID:???
>現在のシステムでは、bananaなBlackGoatでは処理能力不足
この処理能力が何を指しているかを顕在化させたいんですよね、
そして「結果的にCobraでよかった」じゃなくて、何がどうなったから
Cobraでよかったと言いたいんですよね、そうしなきゃ無駄な投資を
してしまうですー
データベースが同じならCPUの違いで
キャッシュヒット率が変わるのかなあと呟いてみるテスト
いろいろ書きたい事/レスすべきことがありますが、ちょっとあとで。
14:00過ぎたので、c系から大人の時間を削除してくださいー。>両氏
あれ?大人の時間、なんで復活しているんでしょう・・・?
取り合えず、作業はいります。
>>882 完了です。
c.2ch系列からは完全にアクセスしなくなったはずです。
本業ばたばたですんませんが、とりあえずざっくりと観察結果を。
2ch : bbspink = 1 : 1/10〜1/12
bbspink系は、
20:00から上昇カーブに入り、2:00あたりまで上昇曲線。
概ねPCの転送量と傾向は同じだが、
PCよりも1〜2時間ぐらい、ピークがうしろにある。
blockgoatがdat取得するの2分ごとに一括更新の同期式?〉転送量の上下が激しい
それともdatごとに更新の非同期式?〉転送量はなだらかに
887 :
FOX ★:04/08/15 00:48 ID:???
2ちゃんねるLANにつながっていて
未投入なのは投入しちゃった方がいいような、
>>887 今使ってないのはbanana402かな。
blackgoat1号機も使ってないか。
今帰省先なので、>>875- のQも含めて、月曜以降にいろいろと。
>>875 にようやくレス。
Cobraを使うと解決すると予想したのは、I/Oの速度の向上への期待です。
旧blackgoatでは、ロードアベレージの上昇はそれほどでもないのに、
アクセス集中時にログインすると、対話的パフォーマンスの低下が起きていました。
(コマンドを入れると詰まる感じ)
systat -v/iostat等で、ad0/ad1がめいっぱい使い切られていると思われる
兆候が見えていました。
(ディスクは、ccdを使って2本のディスクをストライピングで使用)
squidのログを確認すると、かなりの割合でキャッシュからデータが獲得できなかった旨の
エラーが出力されていました。
ネットワークの統計からは、この時点ではまだ帯域は使い切っておらず、またパケットの
取りこぼしや再送も、発生していないように見えました。
squidは400Mぐらいメモリを使っていましたが、メモリが不足している兆候は
まだ見えていませんでした。
このような状況から、
・CPU usageはまだめいっぱいではない
・ネットワークもまだ破綻していなかった
・ディスクI/Oが目いっぱいまで使い切られていた
=>squidのソースを読みきれていないが、ディスクI/Oが目いっぱいの状況の時に、
キャッシュヒット率が悪くなっていることから、ディスクI/Oの速度を上げれば、
キャッシュヒット率が向上し、系全体のパフォーマンスも向上するかもしれない
と、判断しました。
>>879 ということで、
> 何がどうなったからCobraでよかった
ですが、私の判断ではディスクI/Oパフォーマンスの向上が
最も大きいと考えています。
ディスク構成:
blackgoat1号機:
・同一バス上に接続された80G UltraATA100 IDE 7200rpmディスク2台
・IDEはオンボード、32bit
・FreeBSDでストライピングを設定
blackgoat2号機:
・別々のバス上に接続された36G Ultra320 SCSI 15000rpmディスク2台
・SCSI cardは64bit PCIで接続、64bit OS
・FreeBSDでストライピングを設定
892 :
FOX ★:04/08/17 15:13 ID:???
で、
>>887-888 banana402: 純粋banana+Intel Ethernet card
memory512M, 10M帯域制限
banana406: 強化banana+Intel Ethernet card (2 I/Fs)
memory1G
投入するとしたら、banana402がcの二重化(現在はcが落ちると全部(りゃ)、
負荷上昇が目立つc-au系の3号機あたりか。
他に何か案は↓
894 :
FOX ★:04/08/17 15:20 ID:???
つまり管理人から御代として出されているディレイ60sec実験なんですが、
受付嬢は直接的には何ら変化が無いと予想できるのですが、
(めぐりめぐっての変化はあるかも)
BlackGoatは単純に出口というか入り口というか
2ちゃんねるの各サーバにつながっている方は二倍の量になり
キャッシュしている dat の書き換えも二倍になると予想されるから、
という話しなんですが、
896 :
FOX ★:04/08/17 15:24 ID:???
>>893 banana406 が他のau機とスペックが同じでしたっけ?
banana402 がちょと違うスペックで、
>>894 60secにして今のblackgoat2が耐えられるか、ということですね。
どうだろうか。正直、やってみないとなんともいえないところかも。
いままで、ここまでProxyサーバをいじめて使ったことがないし。
>>895 で指摘した、フロントエンド <=> blackgoat2 の間は、
例えばblackgoat2を1G接続にするとかできれば、まだいける気がするです。
>>896 banana403, 404, 405, 406は全く同じH/Wですね。
bananaベース、メモリ1G、Intel Ethernet I/F x 2
banana402は他のbananaサーバと同じ(メモリ512M)に、
Intel Ethernet I/F x 1を追加したものにみえます。
899 :
FOX ★:04/08/17 15:28 ID:???
レスが入り乱れますが、
>>895 2ちゃんねる各サーバ ━む→ BlackGoat ━ら→ 受付嬢 ━さ→ 端末
とした場合の 「む」の部分が 100M 目いっぱいになっているってことですか?
解決策はあるんだろうか・・・
というか その部分の容量 GigaBit じゃ無いんですか?
900 :
FOX ★:04/08/17 15:31 ID:???
>>898 ということは
banana406 = c-au3
banana402 = c の独立 or/and 多重化
に一票。
c-docomo はどこから捻出してくるか。。。
Tiger511,512 を BlackGoat に入れて
Peko機はdocomo用受付に転出か・・・
901 :
FOX ★:04/08/17 15:32 ID:???
>>897 今日の夜やってみますかー?
みんなの準備が整えばですけど、
んでだめだったら即時撤退ということで、
>>899 「ら」の部分ですね。
「む」はまだ平気かと。
そこの部分は自動判別で接続してますが、100Mbps full-duplexであると認識されています。
ここは内部ネットで他の部分に影響ないので、スイッチの設定変更でいけるのかな?
>>901 設定変更は簡単なので(blackgoat2のsquidの設定を変えるだけ、c-xx側は特に変更なし)、
できると思います。やってみるか。
>>902-903 実験するのであれば「ら」をGbE化してからやってみる提案をしてみる。
「ら」はただでさえトラフィックの集中するところですからね。
905 :
FOX ★:04/08/17 15:40 ID:???
>>903 そっすね、やってみよう。
今変えちゃうとか、
現状の設備でどうなるかを観察したい、
906 :
FOX ★:04/08/17 15:40 ID:???
>>904 この実験では 「ら」の部分には影響を与えないのでは?
>>905 変えてみますか。
では15:45あたりにやってみます。
「ら」は、dat/subject.txtの要求に対する応答部分なので、
今回のには影響しないとおもいますです。
>>904
>>906 ああ、そうですね。「む」のトラフィックを倍増させるだけですから。
ただ、状況次第では影響はありそうですがね。
910 :
FOX ★:04/08/17 15:45 ID:???
>>909 そですね、
めぐりめぐっての影響はあると思います
たぶん減る方向へ振れるのかな? (勝手な推測)
blackgoat2のsquidを再起動した。
前の設定:
refresh_pattern . 2 0% 2 override-lastmod reload-into-ims
今の設定:
refresh_pattern . 1 0% 1 override-lastmod reload-into-ims
わくわく
914 :
FOX ★:04/08/17 18:19 ID:???
BlackGoat を任務とすると
Peko , Tiger の能力はほぼ等価と考えていいのかな?
>>914 たぶん。
・64bit OS(Cobra) vs 32bit OS(Tiger)
・LSI Logic(Cobra) vs Adaptec(Tiger)
あたりが微妙ですが、力が半分になってしまうことは、ないと思います。
BlackGoatはBanana2台体制で充分じゃないかな?
Cobra、Tigerはフロント側に使う方がよくないかな?
>>916 blackgoatはI/Oが重要だから、ちょっとそれはおすすめできないような。
逆に、フロントエンドはbananaをいっぱい並べればいいような気がします。
918 :
ひろゆき@どうやら管理人 ★:04/08/17 19:13 ID:???
お?お?
なるほど
SCSIがMUSTってことですかね〜
SCSIがっていうよりはRPMとバスの帯域の問題。
結果は日付がかわってからになるでしょうか。
922 :
FOX ★:04/08/18 16:31 ID:???
機能は docomo3 が落ちちゃったので、
観察の本番は今日と言うことかな?
>>922 そですね。
今の時点では、落ちないことを祈るしか(りゃ。
ex7で試している設定変更部分はamd64でも有効みたいなので、
あれが効果を発揮するようなら、順次トライか。
今夜は
・北島@競泳の決勝その2:翌0130過ぎ
・中西@競泳の決勝:翌0210分過ぎ
・泉&上野@柔道が勝ち上がった場合の各試合:2230以降、決勝は2330ごろから
とくに危険なのは北島か。
925 :
FOX ★:04/08/18 18:36 ID:???
Tiger511,512 は、LoveAffaurで使っちゃう?
926 :
FOX ★:04/08/18 18:36 ID:???
Affaur -> Affair
>>925 入れるとするとどこですかね。
ぱっと思いつくことを書いておこう。上のほうほど、脳内優先度高め。
blackgoatを2台体制に
全代表のcを二重化
このところややトラぶり気味のc-docomoのフロントエンドをスワップor増設
c-auが恒常的に目いっぱいなので強化
c-othersも2台体制がいいのかも
で、できれば今のクラシックメニューの機能を削減することなく、
維持できるぐらいのゆとりは、作っておきたいかなと。
というかそのぐらいゆとりがないと、すぐにパンクしそうな予感も。
Vodafoneや某孫氏あたりが本気になると、さらなる価格とかサービス競争が起こるだろうし。
929 :
FOX ★:04/08/18 18:58 ID:???
「ピーク時でも楽々おさばき」にするという作戦で、
二重化等はその後かと、(何台必要になるのか見当も付かないのですが、、、)
BlackGoat を2(複数)台体制にする場合は、
ちと考えてからの方がいいかな、
出来れば 「む」のトラフィックは増えないほうがいい!
まずはひとつの系として十分な資源にしよう、という作戦ですか。
>>929 耐障害性や冗長性はその後で別途考慮と。
Tigerが2台来る前提で、少し考えてみるです。
で、私は深夜までしばらくおいそがしなので、
その間にパズルしていただけるとうれしいかなと。
blackgoat役はcobra2244(今のもの: メモリ3G = いちばん多い)で確定として、
他の使えるタマの一覧:
標準banana1台 banana402: Pem4 2.8G 512Mmem IDE
強化banana4台 banana403〜406: Pen4 2.8G 512Mmem IDE
cobra2台 cobra2246〜cobra2247: Opteron 244 dual 2Gmem SCSI
tiger2台 tiger511〜tiger512: Xeon 2.8G dual 2Gmem SCSI
さて、どう組み合わせるか↓
tigerって、フロントに入れるとどのくらいの能力あるのかな?
cobra : tiger : banana = 3 : 2 : 1 くらい?
Cobra2244なBlackGoatの落ち込みは
負荷?
ex7鯖落ちのせい?
Date: Thu Aug 19 02:46:03 2004 JST-9 (Wed Aug 18 10:46:03 2004 PST+8PDT)
Target: cobra2247.maido3.com[c-docomo2.2ch.net] 206.223.151.215
httpd だけが反応無いようですが作業中でしょうか?
>>935 訂正。sshもftp反応ありませんですね。
リブート要請出しておきますー
938 :
FOX ★:04/08/20 03:23 ID:???
>>938 おお。
わたしも、がんがって作んないと。
# きょうは、ちともう作業できんです。すんません、ごめんなさり。
>>940 うーん、ピーク時にsquidがcore dumpを繰り返してる。
Aug 19 09:48:22 <0.6> oyster244 kernel: pid 82560 (squid), uid 400: exited on signal 6 (core dumped)
Aug 19 09:48:24 <0.2> oyster244 kernel: Limiting closed port RST response from 257 to 200 packets/sec
Aug 19 09:48:22 <20.5> oyster244 squid[62646]: Squid Parent: child process 82560 exited due to signal 6
Aug 19 09:48:25 <20.5> oyster244 squid[62646]: Squid Parent: child process 82590 started
旧blackgoatでdiskdの時にやはりcore dumpしたので、
diskdをやめて、aufsにしてみるか。
aufsにしてみた。
(さっきまで)
cache_dir diskd /usr/local/squid/cache 40000 16 256
(現在)
cache_dir aufs /usr/local/squid/cache 40000 16 256
943 :
FOX ★:04/08/20 03:46 ID:???
Sea Guardian ですか、、、。
で、久しぶりにroot権限ありサーバに戻って来たnewsplusの統計情報見て思ったこと。
「携帯(=r.i)の分が減ったのは、すごくおおきい」
# もう今日は限界っす。おやすみなさい。
945 :
FOX ★:04/08/20 04:02 ID:???
banana402 -> c-au3
banana406 -> c-au4
遊ばせておいてももったいないから投入しちゃって
tiger511 , tiger512 が来たらこの二台を BlackGoat (一台はc.2ch.net独立でもいい)
あいた peko244 を c-docomo4 にする。
とか、
>>943 FOXさん、
そろそろ次スレの時期ですね。
c-auは、強化banana4台
c-docomoは、cobra2台+tiger1台
c-othersは、tiger1台
c.2ch独立で、標準banana
あたりじゃないかと思っているのですが、、、
BlackGoatがcobraで不足の場合は、tiger2台体制
c-docomoは、cobra2台+強化banana1台
c-auは、cobra1台+強化banana2台
c-othersは、強化banana1台
c.2ch独立で、標準banana
(ロードバランスが違う性能の鯖でもOKならばですが。。。)
>>944 rootさん、
お疲れ様でした。
948 :
動け動けウゴウゴ2ちゃんねる:04/08/20 13:34 ID:SHKPDpem
金曜会
三菱自の再生見直し及び追加支援
>>949 お疲れです。
一応、sshで接続までは出来たが、入れませんね。。。。
高負荷状態なのかな?
951 :
FOX ★:04/08/22 03:24 ID:???
>>951 現在、c-docomo3がダウンしているからじゃないかな?
954 :
FOX ★:04/08/22 04:37 ID:???
956 :
FOX ★:04/08/22 05:18 ID:???
というか
おとといからずっと? と聞くべきか、
一昨日と言えば、
942 名前:root ★ 投稿日:04/08/20 03:45 ID:???
aufsにしてみた。
(さっきまで)
cache_dir diskd /usr/local/squid/cache 40000 16 256
(現在)
cache_dir aufs /usr/local/squid/cache 40000 16 256
これかな?
958 :
FOX ★:04/08/22 05:24 ID:???
おおっ
1/10 近くななった予感、
1/10ですか、激減ですね。
という事は、当分はcobra1台でまかなえそうですね。
960 :
動け動けウゴウゴ2ちゃんねる:04/08/22 06:53 ID:IlmPli6f
リブート後、c-docomo3のhttpdが上がっていなかった模様。
今立ち上げなおした。
で、aufsの方がdiskdよりも効率がいいのか、、、。
そいえば、blackgoat1号機でもそうだったかも。
やってみないとわからんもんですね。
>>961 ありがとうございます。
ログインして立ち上げようとしたが、Permission Denied で立ち上げられなかった。
diskdが死ぬのはSYSVSHMの設定がよわよわだからだと思うのだが。
2chみたいな高負荷リバースプロクシやるのなら
SHMSEG=128
SHMMNI=192
SHMMAX=33554432
SHMALL=8194
ぐらいは増やさないと。
このあたりは他のチューニングと理屈は一緒なのでメモリ量に応じて。
チューニングができたdiskdだったらaufsなんかとは比べ物にならないぐらいリクエスト数がさばけるよ。
>>964 うーん、そのへんは一応前にも疑っていて、今こうだったり。
%sysctl -a | grep kern.ipc.shm
kern.ipc.shmmax: 33554432
kern.ipc.shmmin: 1
kern.ipc.shmmni: 192
kern.ipc.shmseg: 128
kern.ipc.shmall: 8192
kern.ipc.shm_use_phys: 0
kern.ipc.shm_allow_removed: 0
diskdにするとき、このへんいじったです。
# for squid cache
options MSGMNB=16384 # max characters per message queue
#options MSGMNI=40 # max number of message queue identifiers
#options MSGSEG=2048 # max number of message segments in the system
options MSGSSZ=64 # size of a message segment (Must be 2^N)
options MSGTQL=1024 # max amount of messages in the system
で、こんなかんじ。
%sysctl -a | grep kern.ipc.msg
kern.ipc.msgmax: 131072
kern.ipc.msgmni: 40
kern.ipc.msgmnb: 16384
kern.ipc.msgtql: 1024
kern.ipc.msgssz: 64
kern.ipc.msgseg: 2048
967 :
動け動けウゴウゴ2ちゃんねる:04/09/04 21:44 ID:9owZb4LU
(^^ゞ
bbspinkのURIが出現した時はcっぽく変換するんではなくて、
今のところはread.cgi => r.iへの変換をしてやるのがいいんではないかしら。
>>968 なるほど、そうしましょう〜
ところで、404 Not Foundと、403 Forbiddenのリダイレクト先を、
00.hにしたいのですが、
.htaccessでやってしまって構わないですか?
httpd.confの方が良いでしょうか?
>>969 すいません、00.hというのが変わりそうなので、
取り合えず.htaccessでやってしまいます。
972 :
root ★:04/09/14 04:07:38 ID:???
tiger511, tiger512, banana402 投入準備できました。
さて、どういう戦略で投入するのがいいのかしら。
ということで、今日はおやすみ。
banana402はau3かなぁ〜
んで、BG1をothers2に持っていき、tiger511をBGにする。
残りのtiger512はどうしましょうか?c.2ch独立かな?
974 :
root ★:04/09/14 15:06:40 ID:???
>>973 いいせんですね。< 上の2行。
tiger512は、c-docomo4がいいかな。
docomo は oyster244 で
peko で揃えた方が気持ちいいような
Tiger 二台を BG へ
とか、
977 :
root ★:04/09/14 15:10:27 ID:???
まとめると、
c代表 & c-others系: banana405 banana406
c-au系: banana402 banana404 banana402
c-docomo系: cobra2247 cobra2246 tiger512
blackgoat系: cobra2244 tiger511
かな。
978 :
root ★:04/09/14 15:12:18 ID:???
>>975 メモリ容量が違ったりしますが、たしかにその方がよさげですね。
こうかな。
c代表 & c-others系: banana405 banana406
c-au系: banana402 banana404 banana402
c-docomo系: cobra2247 cobra2246 cobra2244
blackgoat系: tiger511 tiger512
BBM/m: cobra2245
979 :
root ★:04/09/14 15:14:52 ID:???
で、
>>978 にするためには、まずblackgoatの変更からかな。
ではtiger511とtiger512に、blackgoat用のセットアップを実施します。
今夜あたりにはフロントエンドの変更作業できるようにします。
>c-au系: banana402 banana404 banana402
402 が duplicate かな?
c-au系: banana402 banana403 banana404
が正解かしら?
おっ 立てるべか、
行ってきます。
>>984 最近凝っているんですが、某サイトで1号の前景展望が見れます。
ただし豊富以北がまだ未公開。
150623
151741
122334
月月火水木金金
114748