2ch特化型サーバ・ロケーション構築作戦 Part42

いまいちですね。

しばらく観察して改善しないようなら、
リブート要請いきます。

HUP？なんで？
rootで作業してたの？

ワールドカップ前でよかったな

>>834
あ、それ(SIGHUP)じゃなくて、画面が凍ったということで。

リブートだとお

がっちり止めて作業して欲しいぜ

22:15 にリブート要請予定。

>>839
乙です

>>836
なるほど、了解です。

るーとたん頑張ってなう

各OSによるPSコマンドの状態表示の違いについて
ttp://d.hatena.ne.jp/GARAPON/20080814/1218690278
ふむふむ。

FreeBSD
 D  プロセスはディスク (あるいは他の割り込み不可能な短期間の) 待ち状態です。

ネ実復活

リブート要請済。

何かの拍子にディスク(たぶんSSD)が詰まって、
そのままバタバタとhttpdが倒れた、という印象。

>>843
D はディスクI/O待ちですね。
前にgimpoでも経験しました。

とおもったらまたこけた

82Mbpsでぶっ倒れる鯖とか弱すぎだろ

飲みに行くの？

>>848
今回はSSDが原因。多分プチフリ

IO負荷でサービス停止？SSDでそうなのか・・・

さっき落ちる直前にlive28に書こうとして秘密の花園500出たのは高負荷のせいか

しばらく待ってみましたが、今回は自力では復活しなかったですね、、、。

リブートかかりました。

>>845
リブート前にiotopしてほしかったかも…あれ、これLinux依存だスマソ。

>>853
やっぱSODはダメだな

>>854
I/O的には、ディスクI/O待ちのhttpdがたくさんいた様子。
I/Oできなくて詰まっている印象でした。

>>855
抜けないよな

>>852
またなんともレアなエラーだな。

>>856
何かIO独占しているものが無かったか調べてほしかったって話です。

>>858
> 何かIO独占しているものが無かったか調べてほしかったって話です。

なるほどです。

bbs.cgi とめました。
板復帰いってきます。

できる子、がんばれ

お願いします

>>300まで板詰め込みしているのは新型SSD鯖を落とす為
実況板と負荷の高い板が詰め込まれた

> 360 名前：ちきちーた ★[] 投稿日：2010/06/08(火) 16:16:42 ID:???0
> 目的はどこでlive28が落ちるかを見て、どこを改造するかとかだから
> 落とさなきゃ「一羽の鴎作戦」ははじまらないのだ
>
> つまりまだ作戦は始まっていない
> 落とすためにでかい板を集める

アニ特死んでるから実＋が使われてるのか

フォルダの中見えてるな

誤爆しましたすみません(´･ω･｀)

お？さすができる子

全板復帰、bbs.cgi再開。

確認しましたお疲れ様です

rootちゃんおつだぜ

おつです。
興味深いログでてくるかな、わくわく

>>859
おかしい時に調べておかないと繰り返すよ

>>868
乙でした

花子花代スレ埋まっちゃったけどいいの？

復帰確認、乙

また起こるかもしれないのかな？

>>868
乙

>>872
本人納得してんのにさらに上から目線で忠告とか

>>859
FreeBSDだと以下で分かるらしいです。
top -m io -o total
次起きたときには試してほしいです。

以前もそうだが、転送量グラフで10M程度を検知してるのはこれ如何に。

何このコテ

>>878
りょうかいです。

今 top -m io -o total をやって見ると、
multilog がかなり I/O しているな。
常時このぐらい食ってる。

PID USERNAME VCSW IVCSW READ WRITE FAULT TOTAL PERCENT COMMAND
1007 users 872 29 0 9 0 9 19.15% multilog

これはたぶんローカルで動かしている dnscache のやつだな。
このログ(DNSの問い合わせ状況ログ)を省略すれば、かなり I/O を節約できそう。

ちなみにこのログは /home (SSD) にとられている模様。

>>881
/homeはHDD?だとしたら案外ログの移動だけで済む希ガス

>>881 も無駄ですね。
掲示板システム以外で、SSD の I/O 全体の2割近く食ってるのか。

でもこれも、板詰め込んだから発覚したんだな、きっと。
書き込みの数だけDNS問い合わせの数は増えるから。

ここのI/O、軽くなるように設定していただくのを検討しよう。
どこを直せばいいかは何となくわかった。

と言う事は
鴎作戦は少し成功したって事ですか・

>>882
SSDです。< /home


SSDへのI/Oは、
少なくできるのなら、少ないほうがいいわけで。

>>884
今のところは、
板を思い切り詰め込んだことで洗い出せたものがあった、
ということかなと。

(本格的に始まる前の準備段階かも)

100Mbpsの壁を破る前の準備体操にすぎないと…

bbs.cgi思い切りぶっ叩いてもなかなか重くならない死にたい

もうDNS参照辞めて生IPで行こうぜ

(´-`).｡ｏＯ(gimpoでも経験しときながら云々は今は言わないでおこう…)

＜明日以降の作業予定＞

・mod_speedycgiのインストール作業(作業中はサーバ落ちる)
・>>883 の調整

にて。

> ・>>883 の調整

>>883 の調整依頼

ですた。

>>889
現状だと"変なホストです"ぐらいにしか使われてなかったような>IP→ホスト変換

規制に使ってるし

ぶっちゃけNCQ効いてない今の環境ならintel以外の方が（ｒｙ
とか今更言い出しても仕方がないね。

最終的にはどれぐらい板を詰めるの？

>>894
そういやそうだった。ホストのパターンからIPレンジ調べるのは難しいし無くすことは無理か。

rootお疲れ。

ところで。こんな書き込みがちらほらと見られるけど、コレはウソって事でおｋ？
↓
845 名前：root▲▲ ★[] 投稿日：2010/06/10(木) 22:18:58 ID:???0
某国からのDoS攻撃があったもより。

今、中の人から連絡をいただきました。
該当時間、/md のあふれが検出された模様です。

つまり、メモリディスクがフルになった瞬間にトラブル引き起こされた
可能性＊も＊考えられます。

これも、板を詰め込んだことで出た現象ということで。

明日のmod_speedycgiのインストール作業の際に、
/md の増量を合わせてやっていただくように、
合わせてお願いしておきます。

>>898
どこのrootさんかしら。

>>898
ソースのURLが無い引用は大抵嘘。

>>898
わざわざ時間まで変えちゃって

>>898
「URLが無い」＝「嘘・デマ」

だと基本的に考えておいて間違いない
あまり踊らされないように

ワールドカップ期間中ダウンした回数分、新板を作ってくれ。

>>899
mod_speedycgi の作業の際に、

・/md の増量 (400M → 600M)

を合わせて実施いただくようにお願いしますた。

・multilog のログ出力省略

を、これから合わせて提案する予定。

>>898
Dosがきたらほとんどの場合転送量グラフの青い線(recv)が急激に上がる
今回はその兆候はないようです
http://traffic.maido3.com/nLMZ/FaFC/FNcf/

>>900-903,906
ありが�d�d。韓国ロケット関係のスレでちらっと見て、ちと怪しいな、と気になったもんで。

情弱じゃん…

自称情強様がなさけない話だ

意外な所が原因だったのか

>>905
> ・multilog のログ出力省略

の検討も、合わせてお願いした。

>>891 更新
＜明日以降の作業予定＞

・mod_speedycgiのインストール作業(作業中はサーバ落ちる)
・/md の増量(400M → 600M)、上記に合わせて実施予定
・>>883 の調整依頼(依頼済)

作業は、

> 6月11日午前11時から開始いたします。

とのこと。

Linuxのメモリディスク(tmpfs)は動的容量なんだよな。
ってかここのコメントを見る限り、FreeBSDのmdって微妙そう…
http://blog.livedoor.jp/dankogai/archives/50377708.html

>>913
最近の FreeBSD には tmpfs は実装されてますね。
7.x あたりからだったかな。

ジンギスカンのシステム作った頃(5.2.1Rだったか)は、md しかなかったですが、
今は tmpfs という手もあるかもですね。

あと、md は何をバックエンドにするかで、動作に結構違いが出るはず。

でもtmpfsだとスワップアウトまでするのか…。んーそれってどうなんだろう。

>>915
なんですよね。

動的に割り当てるのがいいとは限らないわけです。

今は治っているようですが、
昔の /md には何らかの拍子に消したりrenameしたはずの
ファイルが残るバグがあって、たまにあふれてました。

確かかつての ex20 とかでよく起こっていたな。
subject.txt とかのゴミが残ると。

第１７６日目：【緊急更新】SSDサーバー７号機をリブートしました
http://www.maido3.com/server/zousan/nikki176.html

>>917
更新早いですね。

live28 サーバのおもりをされている （　,_ﾉ` ） さんのことは、
何て呼んだらいいのかしら。

>>918
エースさんです。

>>919
日記で、そう呼ばれてましたっけか。

では、今後はそれでいくます。

（　,_ﾉ` ） さん deiindene？

>>912
作業お疲れさまです。

> 作業は、
>
> > 6月11日午前11時から開始いたします。
>
> とのこと。

これは日本時間と言うことでよろしいですか？

>>922
そのようにうかがいました。

>>923
了解です。
有難うございました。

で、ボードデータを更新していいのかな？

>>913-914

http://blog.livedoor.jp/dankogai/archives/50379924.html
> 結論: malloc ベースの md は、tmpfsと遜色ない。swap ベースの md は、mfs的に振る舞う。

ということのようですね。

そういえば、今思い出しましたが、
root権限ありサーバでは以前から mallocベースで md 作っていて、
それをジンギスカンで使っていたですね。

以下、ブート時に動くスクリプトの抜粋。

/etc/fstab には直接書かずに、
直接 mdmfs コマンドで 400M の mallocベース (-M) で、
softupdateなし (-S)、非同期モード・スナップショットなし・noatimeで md 作ってると。

_MDSIZE="400m"
(中略)
/sbin/mdmfs -S -M -s ${_MDSIZE} -o nosnapshot,noatime,async md /md

root 権限なしサーバでは、
md の設定は確か直接 fstab に書いていた気がするので、
デフォルト (swapベース)、softupdate ありになるのかな。

root▲▲ ★って夜勤★?

http://www.maido3.com/server/zousan/nikki176.html
の中の人が夜勤★?

FOXが・・・おっと

>>927
今回の件であなたのおにぎりは増えるのですか？

>>930
どきどき。

おにぎり３つ集めるとお稲荷さん１つと交換です

rootさん死んでしまうん？

作業中失礼します　スレ違いでしたら申し訳ございません
>>917の第１７５日目に¨柿の収穫¨とあるのでニダーランの事と思われるのですが
明日１１時からのサーバを落としての作業中はニダーランもできないのでしょうか？

>>934
関係しない気がします。

>>935
ありがとうございます
ワールドカップを無事乗り切れますように、実況ロムはなるべく自粛します
いつも遅くまでの作業お疲れ様です

>>936
逆、ワールドカップで無事鯖を落とすために積極的にROMるべき

亀ちゃん辞任・・・では落ちないか。

>>937
今日が開幕戦な上に3日後には日本がカメルーン戦だからな。
今回は地理的な条件と公式ボールが普通のボールと違うこともあって、
試合が荒れるんじゃないかという噂だけど・・・

やっぱり規制が発動してる状態じゃ落ちなさそうですねー
WC前に一回運営公認の負荷テストしたらどうかな？

祭り風味に告知すれば乗っかってくるんじゃない？

>>926
その次の記事も見てくださいです。
http://blog.livedoor.jp/dankogai/archives/50380555.html
Linuxのtmpfsではディスクキャッシュを通らないとのことです。
mdだとディスクキャッシュを喰うとのことで微妙ですね。
スワップもmdの方が起こりやすい気がしますが、試してみないと何とも言えなさそう。
# ただしFreeBSDのtmpfsでどうかや、情報が今も正しいかは不明。

>>941
なるほど、
(mdは)メモリをメモリでキャッシュする、という記述がありましたねそういえば。

でも復帰に関しては、tmpfsの場合はtmpfs以外のスワップアウト+tmpfsのスワップインですが、mdの場合はmd以外のスワップアウト+mdのmemcpyだから早そうではありますね。
やっぱり試してみないと何とも言えなさそう。

ありゃー・・・・亀井郵政大臣辞任かー

政治の話題を持ち込むなボケ

この時間だから大規模な祭りにはならないから大丈夫だろう

政治好きなくそコテだな

日本国民だもん、語って何が悪いの？

質雑でやんなさいよ、ってことでしょ？ｗ

雑談は質雑で

TPOわきまえろよ

逆に実況的な政治の話をして鯖を落とせばいいじゃん
もちろん規制されるけど

>>951
豚しゃぶ
ポン酢には
おろしだよね

立て読みになってないのが笑わカス

煽り耐性無いわギャグも面白くないわこの糞コテ死ねばいいのに

>>955
最近２ちゃんデビューしたじじいだから許してやれｗ

川・∀・)＜じじぃじゃないよ〜

>>5
ご〜ちそ〜うさ〜まで〜すよ〜（笑）

ラ〜メンラ〜メン♪　行列の出来る香草焼ラ〜メン

■仕切り直し■
今日とまるのは実況さ〜ヴぁだけという解釈でヨロシイでしょうか？

>>958
ぺんちゃん次スレよろしく〜

>>953
そんなに次スレを立てて欲しいなら少し待ってろよ（笑）

スレ立て権があったらだけどね・・・・・

>>959
ほ〜い（笑）

2ch特化型サーバ・ロケーション構築作戦 Part43
http://qb5.2ch.net/test/read.cgi/operate/1276199769/

>>961
乙ですよ〜　ラ〜メンラ〜メン♪

メモリ継ぎ足せばまたまだポテンシャル引き出せそうな気がする。

今は mod_speedycgi が動いてないらしいですが，
以下のようなテストスクリプトを動かしてみました．
結果は......前回呼び出しから1分以上経過しない限り毎回同じ，
つまり mod_speedycgi 使用の有無にかかわらず
SpeedyCGI では PID を乱数のようには利用できない模様です．


#!/usr/local/bin/speedy -- -M1 -t60 -T/md/tmp/pppppp

print <<EOT;
Content-Type: text/plain

$$
EOT

>>964
おつです。なるほど。

で、PID使うのは乱数としても意味もさることながら、
「更新がぶつかりにくい」という意味もあるのかなと。

CGIからクライアントのポート番号って知ること出来ないの？
PID+IPアドレス+ポート番号っていうのは無理なのかな

HTTP_REMOTE_PORT？

普通に$ENV{"REMOTE_PORT"}でとれますよ

>>965 上の方でも書いた気がしますが，更新の衝突に関しては
subject.txt はともかく subback.html, index.html では
さほどシビアな問題ではなくて（Saborin は後者の更新について作用する），
むしろ PID を用いてることにより「適度にさぼる」のではなく
「まったく更新されない」状態になっているのが問題なのではないかと．

>>967-968
どうもありがとうです。

SSDで高速化できるならi-RAMだともっと高速化できるんじゃね
i-RAMのMean Write Before Failureは結構でかくね

うーん
他に乱数の代わりとして使えそうなのは書き込みの文字数（CONTENT_LENGTH環境変数）ぐらいかなぁ

>>969
なんか、うまい発想はないもんですかね。

別に更新が衝突してもいいなら、マイクロ秒の剰余とかでいいのでは？

>>973 Saborin を改良していくという策であれば，rand() なり gettimeofday のマイクロ秒部分なり
>>966 のようにクライアントのIPアドレスやポートを用いるなり等々考えられますし，
あるいは別の手段としては bbsd を localhost 上で利用というのも考えられますかね．

ちょっとおたずねしますが、
２ちゃんねるの鯖落ちの原因の第一位はなに？

index.htmlとかsubject.txtとかはApacheモジュールで出力すればいいんじゃね？
そしてそういったファイルはディスクに書き込まずメモリ上に置く。

鯖が落ちたら鯖再起動後の最初のリクエストで自動復旧するように組めばジンギスカンの欠点解消になるし、
bbs.cgiから呼び出す更新プログラムに、ロックされてたら待たずに帰る細工をしておけばsaborinみたいな更新が遅れる欠点もなくなる

「まったく更新されない」状態があるってことは、「常に更新される」状態もあるのかしら？

>>976
掃除のおばちゃんが電源コード引っ掛けて停電。

>>977 元々 bbsd は雪だるま対応のみならず subject.txt 等の管理を一元的に行う
という意図もあって作られたもので，bbs.cgi （や削除系スクリプトなど）から
更新要求を投げて bbsd がそれを処理し，subject.txt や index.html などを
一定のインターバルで更新するようになってます．

まぁ bbsd を使う場合の問題点としては，（例えば先日の Viva Samba のような）
新たな規制等の仕組みを導入した時に別途対応が必要かもということですが，
しかしなぜ bbsd に規制用データを扱う仕組みを入れたかといえば，
サーバを複数用いる雪だるまでは各フロントがバラバラにデータを持ってても
規制が意図した通りに機能しないのでデータを一元管理する仕組みが
必要ということだったからですね．それに対し，localhost 上で用いる場合は
そういうことがなく今まで通りのやり方でもとりあえず差し支えないということにはなるので，
その問題点はあまり考えなくてもいいのかな，とも思います．


>>978 可能性としてはあるかもですね．

そんなに落としたいならive28だけ期間限定で規制無しにしてみれば良いのに

>>981
規制なしの期間はご好評のうちに終了しました
ご協力ありがとうございました

規制なし期間：2010年5月31日〜2010年6月7日

乱数については，オーソドックスですが /dev/urandom から読み込むのも手ですね．
ただし毎回オープンして読むのはコストが高い気もするので，例えば1000回分ぐらい
まとめて読んでそれを使っていき，使い切ったらまたまとめて読む，というのも一案かも．

CPU使用率を使うってのはだめ？

>>983
bbs.cgi出航時に一度だけ読んで、溜め込んでおくとか。

>>985 出航時に一度だけだと，使い切った時どうするかが問題かもですね．

>>986
使い切らないぐらいたくさん、読んでおくかんじですかね。
あるいはサーキュレーションするとか。

で、もうすぐ時間かしら。

今メール読んだ(メール自体は事前に届いていた)。
作業は予定通り 11:00 JST からとのこと。

見事に落ちました

メンテ予定終了時間は何時くらいなんでしょうか（´・ω・｀）？

平日にすんなよ

休日にやったら大惨事じゃないかｗ

夜中にやったら大惨事じゃないかｗｗｗ

リブート入ったかな

平日の夜中にやるべきだと思うんだが・・・。

昼間より夜中の方が圧倒的に人多いのになにいってんだか

夜中はらめええええええええええええええ

結局いつやっても文句出るんだから人少ない時でいいだろ

ニート理論ｗ

1000

このスレッドは１０００を超えました。
もう書けないので、新しいスレッドを立ててくださいです。。。