【Project peko】2ch特化型サーバ・ロケーション構築作戦 Part17

2ｃｈの動作報告はここで。 パート16
http://qb5.2ch.net/test/read.cgi/operate/1103455176/653

operate的には単独スレじゃなくて、とりあえずここを動かすことにするか。
で、方向性がまとまってきたら、単独スレってかんじで。

手段としては、同じIPアドレスからの単位時間あたりの接続回数とか、
datリクエスト数とか、read.cgi起動回数とかをトリガにして、何かにとばすかんじか。
概念的には「バーボンハウスの読み版」ってかんじで。

で、そのためのツールとしては、何が考えられるのかっていうのが議論のターゲットなのかな。
mod_dosevasive を前にちょっと試したことがあるけど、ややいまいちだったかも。

私のお勧め(負荷が低い、作るの簡単、不明点無し)

1) 取っているログから解析
2) N分毎におこなう
3) バーボンに突っ込む

>>771
2) N分毎におこなう

これがいちばん問題だねぇ・・・
いったい何分になるのか・・・

20 とか 30 しせゃないですかねぇ < N分
短時間の微分値をみても判定できないと思う。

>>771
私も、そんなことを考えていました。

httpd側に組み込むのは、結構めんどいです。
(各子供httpdの＊合計＊を調べないといけないので)

mod_dosevasiveは、一つの子供単位でしか数を見れないので、
ほんとのDoS攻撃みたいにたくさん来ないと、検知しにくいですね。
つまり、httpdの子供が512人とかいると、
短時間のうちに512回試みても、1つあたりだと1回とか2回にしかならない。

作るのあんまり得意じゃないけど、
とりあえず今のログをなめて、IPアドレスの数を調べるやつの雛形を作ってみるか。

# おいそがしそうですね。>>771

まったくだ（ガッ！）

>>772-773
30分〜1時間ぐらいか。
そのぐらい利きが遅いのを、どう判断するかってことですが。

で、バーボンはbbs.cgiの制限だけな気がするので、全部だめにするしくみ(バーボンII?)を作って、
そこに突っ込んでしまうってかんじですかね。

fox.cgi を改造するとはやいと思われ

1) 今のログに対して解析を行う等時間的概念の改造
2) 全体に対する割合とか絶対量とか発動条件の検討&実装
3) バーボンは cgi 一発呼ぶだけです。組み込み簡単。

>>776
範囲は最後の微調整かと、

>>777
fox.cgi(PV処理プログラム)というと、1時間に1回ですね。
そのぐらいの粒度でいくと。

割合は、厳密にやるなら初回出現からx秒の間にy回とかいうのがいいんだろうけど、
それはコスト高い割に実入りが少なそうだから、
1時間の間にy回ってかんじかしら。

今の様子見てると、y = 3000あたりからか。
あるいは、全体回数がz回だったとして、y / z > 5%を占めたらだめとか。

>>778
必要に応じて変えられると。

>>779
いやいやプログラムの雛形としては fox.cgi が良いのではないか
近道なんじゃないかということで fox.cgi でやるという意味ではないですー

N=60でも充分かもですが

>>780
そゆ、意味ですか。了解です。

なんだかふおんな動きがあるようなので、そっちを先に準備します。

質問・雑談スレ126＠運用情報板
http://qb5.2ch.net/test/read.cgi/operate/1113153252/586-

>>777-781
少なくとも 206(差分取得) とか 304(変更無し) は除外してほしい


x分にy回呼び出し食らったら read.cgi がバーボンリストへ追加 (*全鯖対象ではなく自分自身の鯖だけ行う)

Yahoo！大規模障害、原因は操作ミス
http://www.itmedia.co.jp/news/articles/0504/12/news060.html

Jimさんに oyster243 用の RAID 1 カードの手配と、cobra2245 と同様のセッティングでの
OS インストールをお願いしました。

できたところで、たんたんと BBQ 二重化へと。

FreeBSD cobra2245.maido3.com 5.3-RELEASE-p5 FreeBSD 5.3-RELEASE-p5 #0: Wed Jan 19 22:51:40 PST 2005 [email protected]:/usr/obj/usr/src/sys/AMD64_COBRA_53_AMR amd64

FreeBSD 5.3R-p8 は、ことによるとamd64ではいまいちなのかも。

amrd0: 34938MB (71553024 sectors) RAID 1 (degraded)

degraded になったので、RAID 1の片方が、いまいちになった模様。 < BBQ

今は動いていますが、いまいちな状態ですね。
落ちた理由は、これかも。

PIEにいるSeanさんと連絡がとれたので、ICQで事情を伝達中。

ひとまずBBQ分のデータ類を保存しておきましょうか？

>>788
そうしていただけると助かります。
わたしのほうでも、memoriesにバックアップとります。

スペアディスクはあるそうなので、Seanさんに交換していただこうかと。

Sean さんがリモートKVMスイッチを準備してくれるとのこと。
どっちのディスクがあぼーんしているか調べる必要があるので、
その際には一度BBQ落とすことになります。

で、わかりしだい交換作業へと。

そういえば ex10 = oyster901 は立派な amd64 だけど、
5.3R-p8 にしても、特に落ちてないし。

BBQ落ちがHDDトラブルのせいだとすると、
memories の構成のときのみ、5.3R-p8 ではいまいちだということも
考えられるかも。

リモートコンソールを準備してくれました。

とったバックアップを確認できたら、いったんcobra2245を落とします。

バックアップ確認できました。作業はいります。< cobra2245

なかなか速度が上がらないですぅ、、、（泪）
2% 2144KB 27.0KB/s 44:02 ETA

いきなりgzip -r したのはないしょ（汗）＠tar忘れ

remote host bbq.2ch.net: Connection reset by peer
Connection closed

わははー（嬉）

よろしくおながいしますm(_ _)m深謝

memories にフルダンプをバックアップしました。
restore if で見られるのを確認。

SCSI BIOSで確認したところ、#0 のドライブがこわれていることを確認。
Sean さんに交換を依頼しました。

交換後、rebuild 作業の予定。

Seanさんがディスクを交換してくれました。
リモートコンソールをKVMで操作して、RAIDをrebuild中。
うまくいくかは、かみのみそしる。

amrd0: <LSILogic MegaRAID logical drive> on amr0
amrd0: 34938MB (71553024 sectors) RAID 1 (optimal)

ということで、rebuildは無事完了しました。
これで、cobra2245はノーマルオペレーションに戻りました。

Seanさんに、無事rebuildできたことと、お礼を伝えておこうかと。

>>798
お疲れさまです・・・
あと、少しで復活ですね
がんばってください・・・

>>798
おつですーm(_ _)m

まとめ:

・cobra2245が落ちた
・電源再投入では、うまくリブートしなかった
・人間(Seanさん)が介してリブートした結果、上がりはした
・チェックしたところ、RAID 1の片方のディスクが壊れた状態になったことが判明した
・Seanさんにリモートコンソール(KVM)をつけてもらって、私がリモートからBIOSでチェックした結果、
　#0のディスクがFAIL状態になっており、RAID 1のディスクのうち1台が壊れたことが判明した
・Seanさんに壊れたディスクを交換してもらった
・私がKVM経由でBIOSユーティリティを操作し、RAID 1をrebuidした
・rebuildはうまくいき、cobra2245は元に戻った

なお、カーネルは念のため、5.3R-p5に戻してあります。

これと別件で、oyster243 用のRAIDカードもJimさんにメールで手配しておきました。

>>799
元に戻ったという意味では、もう復活のはず。

RAIDのrebuildはたまに失敗することがあるので、結構、どきどきしました。
ブートアップのメッセージを見た時は、思わず画面に向かってガッツポーズ。

>>802
どうもです・・・
本当にお疲れさまでした・・・

私がコントロールして343をRAID化しますー

>>804
oyster243ですね。了解です。
完成後は、cobra2245 との2ヘッド体制へと。

で、BBQ のつくり的に、HDDにかかる負担をもう少し減らしたほうがよさげな予感がします。
サザンさんとの共同作業になるのかなと。以上今朝のチラシの裏。

>>806 方針とかのメモ(チラシの裏2)。

・rbldns を rbldnsd に変えてみる (HDDのI/O減少)
・データ生成を差分更新にできないか検討してみる
・「効き」を考えると、更新頻度はできるだけ下げたくないが、
　下げてもいいものはあるかもしれない。
　例えばBoo80や焼き部隊が焼いたやつはすぐに効いてほしいけど、
　DSBLは少しぐらい遅延があってもいいかもしれない。

>>806
あ、未承諾広告※さんもですね。ごめんなさい。
いずれにせよ、中の人たちとの調整ということで。

現在、2chdns7.maido3.com (= banana224) 停止中。

影響範囲は、これの「えー設定」だから、
http://qb5.2ch.net/operate/kako/1102/11020/1102087698.html の457-

…これかな。
これらのサーバは、書き込み時のレスポンスが悪くなっているはず。

462 名前： FOX ★ 投稿日： 04/12/20 14:38:05 ID:???
訂正

A(えー)
banana226(live19)
banana225(love3)
banana210(pc5) <= (注: 既に退役)
banana229(that3)
banana228(money3)
banana227(game7)
banana240(music4)
banana233(sports7)
banana232(tv6)

banana601(etc3)
banana612(tv7)
banana613(live18)

477 名前： FOX ★ 投稿日： 04/12/21 17:13:38 ID:???
追加工事(工事リスト漏れ)

banana398(live15)

>>806
BBQ はしばらく触っていないので、未承諾さんにお任せしますー。

おいらは Boo を boo.2ch.net に移行する作業します。
これで、瞬時に BBQ に反映させられるはず。
この辺は未承諾さんと調整ということで。

>>810
おー、すばらしい。

私はひまをみて、HDDにやさしいBBQへと。

>>809 の問題は解決済み。
２ちゃんねるのサーバのdnsキャッシュサーバの参照関連をまとめておくです。

おおまかにいって、この4つ。

・えー設定 (>>809)
・びー設定
・maido3.com のやつを向いているやつ
・自分で持っている(tiger/root権限ありbanana)

新しいBBQって今のと使い方は一緒ですか？

柚子胡椒なんてどうでしょう

>>813
そのへんは、とりまとめな方から追ってお知らせがあるんじゃないかと。

>>814
とりあえず、スパイスきかせてみます。

>>815
わかりましたー

ほえほえー。

ごくごく簡単に、DSBLの切り離しでしょうか。＠BBQ
いかんせんデータ量が大杉かもかも。。。
（大杉の中をrsyncとか、cdbの再構築とかとか。。。）

bbs.cgi側では、list.dsblとnikuの２段構造になっちゃうけれどもNet::DNS仕様に変わっているので安心かなかなかな？

>>819
データ量を減らす方向での解決は、1mmも考えていませんです。
パフォーマンスが出てないわけじゃないし。

bbs.cgi側の装置はうまく動いているので、中を合理的にしようという方向で。

>>820
なぁるほど♪
承知しましたー

tiger506 のクラッシュダンプのトレース

(kgdb) where
#0 0xc0507ca2 in doadump ()
#1 0xc050829b in boot ()
#2 0xc05085c1 in panic ()
#3 0xc04fcd29 in lockmgr ()
#4 0xc0553b83 in vop_stdunlock ()
#5 0xc0553a33 in vop_defaultop ()
#6 0xc061dc67 in ufs_vnoperate ()
#7 0xc0616947 in ufs_inactive ()
#8 0xc061dc67 in ufs_vnoperate ()
#9 0xc055c2f0 in vrele ()
#10 0xc061a3cb in ufs_close ()
#11 0xc061dc67 in ufs_vnoperate ()
#12 0xc05666b0 in vn_close ()
#13 0xc05675a2 in vn_closefile ()
#14 0xc04ea014 in fdrop_locked ()
#15 0xc04e8e61 in fdrop ()
#16 0xc04e8e17 in closef ()
#17 0xc04e861f in fdfree ()
#18 0xc04f01c8 in exit1 ()
#19 0xc04efcf4 in sys_exit ()
#20 0xc066b9ff in syscall ()
#21 0xc06593af in Xint0x80_syscall ()
#22 0xffff002f in ?? ()
#23 0xffff002f in ?? ()
#24 0xbfbf002f in ?? ()
#25 0x0000430c in ?? ()
#26 0x0804b924 in ?? ()
#27 0xbfbfe4b8 in ?? ()
#28 0xf8d1bd74 in ?? ()
#29 0x281425ec in ?? ()
#30 0x281424b0 in ?? ()
#31 0x281424b0 in ?? ()
#32 0x00000001 in ?? ()
(続く)

#33 0x0000000c in ?? ()
#34 0x00000002 in ?? ()
#35 0x280c9373 in ?? ()
#36 0x0000001f in ?? ()
#37 0x00000292 in ?? ()
#38 0xbfbfe49c in ?? ()
#39 0x0000002f in ?? ()
#40 0x00000000 in ?? ()
#41 0x00000000 in ?? ()
#42 0x00000000 in ?? ()
#43 0x00000000 in ?? ()
#44 0x43f9f000 in ?? ()
#45 0xc3c19e20 in ?? ()
#46 0xc7287320 in ?? ()
#47 0xf8d1b718 in ?? ()
#48 0xf8d1b700 in ?? ()
#49 0xc346b7d0 in ?? ()
#50 0xc05188a3 in sched_switch ()
Previous frame inner to this frame (corrupt stack?)
(kgdb)

/var/crash/info.2 の中身

Good dump found on device /dev/da0s1b
Architecture: i386
Architecture version: 1
Dump length: 2146959360B (2047 MB)
Blocksize: 512
Dumptime: Wed Apr 13 13:09:21 2005
Hostname: tiger506.maido3.com
Versionstring: FreeBSD 5.3-RELEASE #3: Thu Nov 4 21:51:36 PST 2004
[email protected]:/usr/obj/var/src/sys/I386_TIGER_53
Panicstring: lockmgr: thread 0xc7287320, not exclusive lock holder 0xc35e6af0 unlocking
Bounds: 2

前から、ごくたまに起こっている FreeBSD のバグですね、たぶん。

kernel内のlock管理に矛盾が生じてpanicですか

tiger511 = blackgoat3 の、昨日朝のクラッシュダンプのトレース。

#0 0xc0507cae in doadump ()
#1 0xc05082a7 in boot ()
#2 0xc05085cd in panic ()
#3 0xc066b594 in trap_fatal ()
#4 0xc066b2d7 in trap_pfault ()
#5 0xc066af11 in trap ()
#6 0xc06591fa in calltrap ()
#7 0x00000018 in ?? ()
#8 0x00000010 in ?? ()
#9 0xde7a0010 in ?? ()
#10 0xc101fb00 in ?? ()
#11 0xc3475460 in ?? ()
#12 0xf35e3bac in ?? ()
#13 0xf35e3b8c in ?? ()
#14 0x00000001 in ?? ()
#15 0xc8eef000 in ?? ()
#16 0x00000000 in ?? ()
#17 0x00000000 in ?? ()
#18 0x0000000c in ?? ()
#19 0x00000000 in ?? ()
#20 0xc0637004 in uma_zfree_internal ()
#21 0xc0636f38 in uma_zfree_arg ()
#22 0xc04feaaf in mb_fini_pack ()
#23 0xc0636f7c in uma_zfree_internal ()
#24 0xc0636f38 in uma_zfree_arg ()
#25 0xc053b8a1 in mb_free_ext ()
#26 0xc053b7ba in m_freem ()
#27 0xc056eb7b in ether_demux ()
#28 0xc056e87d in ether_input ()
#29 0xc047e961 in em_process_receive_interrupts ()
#30 0xc047bc8e in em_intr ()
#31 0xc04f4195 in ithread_loop ()
#32 0xc04f3245 in fork_exit ()
(続く)

#33 0xc065925c in fork_trampoline ()
(kgdb)

info.0 ファイルの情報
Good dump found on device /dev/da0s1b
Architecture: i386
Architecture version: 1
Dump length: 2146959360B (2047 MB)
Blocksize: 512
Dumptime: Wed Apr 13 13:13:45 2005
Hostname: tiger511.maido3.com
Versionstring: FreeBSD 5.3-RELEASE-p8 #2: Sun Apr 10 09:13:05 PDT 2005
[email protected]:/usr/obj/var/src/sys/I386_TIGER_53_BLACKGOAT
Panicstring: page fault
Bounds: 0

em_intr() っていうぐらいで、ネットワーク系の割り込み処理でしくったか。

FreeBSDよりSolaris10の方が性能良いんじゃないんですか？

Solaris１０に入れ替えしましょう

任せた

>>829
性能っていうか、かっつりはしてますな。
maido3.comの次世代にでも。

また SA か、、、。

20050414: FreeBSD-SA-05:04.ifconf
Zero a buffer in ifconf() in order to avoid accidental
disclosure of kernel memory to userland.

>>832
ftp://ftp.freebsd.org/pub/FreeBSD/CERT/advisories/FreeBSD-SA-05:04.ifconf.asc

とりあえずすごく急ぎなわけじゃなさげ。
5.4Rにするときに対応かな。

バーボンでの動的な .htaccess 変更に伴う .htaccess 破損のリスクを減らすには
こういうものもあります，とさりげなく宣伝(w
http://sunos.saita.ma/mod_authz_iplist.html

すごいなぁ !!

こんど挑戦してみます。

>>835

あ、>>835はFOXなのね。

>>835
頼むから動作確認してからにしてくれ

>>838
では２ｃｈで動作確認を（素

<チラシの裏>
1分に1回、各掲示板サーバのdat/とsubject.txtをblackgoatからrsyncする、というのは、おもしろそう。
通信路の圧縮、増分転送ともに、満たしている気がするし。
</チラシの裏>

>>840
rsyncする => rsyncでとる

<チラシの裏>
5.4-RC3 になった模様。< FreeBSD。
</チラシの裏>

rootはチラシの裏を使うな！！

<チラシの裏>
2.0.54模様。< Apache (Portsも同時との噂有り)。
</チラシの裏>

<チラシの裏 href="http://sunos.saita.ma/leaflet.html ">

>>840 雪だるまで read.cgi をフロント側で走らせることを考えても，
Squid でのキャッシュだと dat を直接 open() できないのに対し，
そのやり方なら直接 open() できるのでやりやすそうですね．

>>844 に関連して......もし Apache 更新するなら，ついでに
http://qb5.2ch.net/test/read.cgi/operate/1105909861/188
の更新がまだならお願いします．
http://qb5.2ch.net/test/read.cgi/operate/1105035540/188
もどこかで実験したいですね．

</チラシの裏>

>>844
きてるですね。ちかいうちに。
MD5 (apache2/httpd-2.0.54.tar.bz2) = 4ae8a38c6b5db9046616ce10a0d551a2
SIZE (apache2/httpd-2.0.54.tar.bz2) = 5566979
MD5 (apache2/powerlogo.gif) = 0f106073b3c7844cf22d4df126b27c62
SIZE (apache2/powerlogo.gif) = 5279

>>845
そうなんですよね。
うまくすれば、かなり応用範囲広いかもです。

Apache更新の際には、mod_cgidsoも更新と。
で、workerで動かすのは、白やぎさんあたりでやってみようかなと思っていたり。

で、
<チラシの裏>
Apacheのモジュールをstatic linkにすると、ex10とか効果あるのかしらね。
</チラシの裏>

The RAID Controller has arrived.
Which server would you like it installed to?
-Sean

>>848
Thank you. I already received the mail from one of "Inside Person" of maido3.com,
and I replied it.

I'd like to install RAID card to oyster243 and reinstall FreeBSD/amd64,
I already backup all data of it and already did shutdown, so I think it is ready.

So, please order to Sean-san to start installing now.

>>849
I thought that it is the parfect responce if "Inside Person" is "NAKA-NO-HITO(Inside Person)"!

there is NOT the "inside-person" !!!

It seems Polywell has given us the Wrong SCSI 320 RAID controller. It
is not the one we ordered. This is only a SCSI 320 Dual host adapter
and does not have RAID support. I will get the correct card from
Polywell ASAP.
-Sean

>>852
Oh, my.
I understand the situation and please say Ganbatte-kusadai to Sean-san.

It is mysterious because it can be understood that it is a topic related to the
server even from English.

biku!. ∧ ∧ ∧ ∧　　 ／￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣
　 Σ(ﾟДﾟ；≡；ﾟдﾟ) ＜　Wow! I think, i entered terrible area !
　　 　 ./ つ　つ　　　　＼＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿
　　〜（＿⌒ヽ　dokidoki
　bu! ω)ノ ｀Jззз

>>850-851
lmao

カーネル再構築確定みたいです（汗

ttp://home.jp.freebsd.org/cgi-bin/showmail/announce-jp/1289

>>857
↓
>>832-833 かな。
外からやられる可能性は、完全に0なわけじゃないけど。

BSD Hacksをよんでいたらsysutils/tentakelとnet/clusteritの紹介があった。
複数のホストを同時並行でシェルコマンドを与えられるツールだって。
portupgradeだのmake buildkernelだのを一気にやるのに楽じゃん。

>>859
おぉ。よさげですね。
機内で読むつもりで、今買ってみたです。 < BSD Hacks

そういやrootﾀﾝ出張だってどっかに書いてたね。
お気をつけていってらっしゃーい。

>>861
こんどのは修行(私費)すね。
今日はちと限界。いったん仮眠するです。

>>862
あぁ、そうだ修行って書いてたね。
お休みなさい。たまにはしっかりと休んでねー。

どこかでリクエストがあったので、RAID 1で痛い目にあった例を簡単に。
以下は私が直接痛い目にあったのと、なった人がいるというのがまじってるです。

・片方HDDが壊れた時に片肺モードで動いてくれなくて、落ちちゃいけないシステムが長時間ダウン
・コントローラのファームウェアにバグがあって、障害時にHDDが両方とも同時にあぼーん
・片肺モードになったことを正しく知らせてくれなくてHDDの障害発見が遅れ、
2つ目のHDDがあぼーんして始めて障害が露見。データは当然あぼーん
・復旧オペレーション(RAID 1の再構築)がBIOSの不具合でうまくいかなくて、データがあぼーん

「RAID 1は確かにすばらしい。しかし過信するな」が、祖父からの遺言です。

コンピューターじいちゃんｗｗｗ

昼飯うｐ

凄いおじいさんだなぁｗｗｗ

痛い目にあって失ったものとRAID1にして得られたもののバランスがどの程度のものなのか

>>868
もちろん、得るものは大きいですね。
「過信」するとまずい、ってことで。

知人の例。ヒューマンエラーなんだけど
・片肺あぼーん
・電話で故障ディスクを交換するよう指示
・間違えて正常な方を交換,リビルド
・アレ？

>>870
こないだのcobra2245の時、これを心配しました。
Seanさんには「確認できるまで、はずしたディスクはキープしといてね」ってICQしたり。

5.4のリリースぎりぎりでこんな変更が。なんだろ。

Edit src/sys/boot/i386/libi386/biosacpi.c
Add delta 1.9.6.1 2005.04.18.17.11.05 njl
Edit src/sys/i386/i386/genassym.c
Add delta 1.148.2.1.2.1 2005.04.18.21.36.16 peter
Edit src/sys/i386/i386/vm86bios.s
Add delta 1.30.10.1 2005.04.18.21.36.17 peter
Edit src/sys/i386/include/pcb.h
Add delta 1.52.6.1 2005.04.18.21.36.17 peter

%uname -a
FreeBSD oyster901.maido3.com 5.4-RC3 FreeBSD 5.4-RC3 #0: Wed Apr 20 08:48:34 PDT 2005 [email protected]:/usr/obj/usr/src/sys/AMD64_COBRA_54 amd64

　 ∩
(　ﾟ∀ﾟ)彡
　 ⊂彡

>873
うほ
どさくさに紛れて５．４入れてたんですか（滝汗
懸案のperlも最新版なのかなぁ。。。

>>874
そりゃだって、/home 以外全部�dだんだから、
何のしがらみもないわけで。

まだ30分ほどしか見ていないけど、
直感的には、そうとうパフォーマンスよくなっている気がします。< 5.4

チューニング手法も、変わってくるかも。

show-stopper bug　1個が修正待ち
また1週間伸びます。5.4R

RE: About RAID controller card.


They said it will take 2 more days to get it in.
-Sean

>>878
了解です。

Giga Switch 一台と
TinyTiger 六台が発注されました。

わくわく

Apacheのモジュールとして動作するアップローダー
http://s03.2log.net/home/kensukejan/archives/blog377.html

世の中、すごいものを作る人がいっぱいいる。

このスレですか…すごいですねぇ……
http://pc8.2ch.net/test/read.cgi/php/1083828423/
http://pc8.2ch.net/test/read.cgi/mysv/1101283470/




http://up.2ch.net/
とかをｺｿｰﾘ作っｔ（ﾔﾒﾚ

Jimさんから、SumaストレージのSlot 8のHDDがFAIL状態になったため、
HDDを差し替えたという連絡を受けました。

さきほどSumaストレージのイベントログをチェックし、

・RAID 5のうち1台が死亡
・ホットスペアのドライブ(そのときはSlot 4)をRAIDメンバーに自動的に組み入れ、
　RAID 5を自動的に再構築
・SeanさんがHDDを差し替え
・差し替えたHDDに対して自動的にメディアスキャンがかかり、メディアスキャン成功後
　新たなホットスペアに自動設定

というイベントが起きていたことを確認しました(下記添付)。

つまり、Sumaストレージがかしこくすべてを実行し、
memoriesのデータも無事だったということになります。ほっ。

Mon Apr 18 21:23:59 2005
Slot8 Target ALERT: Unexpected Select Timeout
Mon Apr 18 21:24:00 2005
LG:0 Logical Drive ALERT: Slot8 Drive Failure
Mon Apr 18 21:24:00 2005
ALERT: Slot8 Media Scan Failed
Mon Apr 18 21:24:01 2005
LG:0 Logical Drive NOTICE: Starting Rebuild
Tue Apr 19 04:15:46 2005
Rebuild of Logical Drive 0 Completed
Tue Apr 19 16:41:19 2005
Slot8 Drive NOTICE: Scan Drive Successful

現在Sumaストレージは、

250GB HDD7台でRAID5を構成
250GB HDD1台をHot spareドライブに設定

にしています。

この状況で1台RAID5のHDDが飛ぶと、自動的にSumaがそれを認識して、
Hot spareドライブをRAID 5に自動的に組み入れ、RAID 5をrebuildします。
つまり、RAID 5の冗長性は失われません。

この状態で壊れたHDDを差し替えると、メディアスキャンが自動的に起こり、
それが無事通ると、今度はそのHDDがHot spareになるようにしてあります。

ということで現在、Hot spareのドライブがSlot 4からSlot 8に変わっただけで、
前と同じ冗長性が保たれていることになります。

よくわからんが、とにかくすごい自信だ

>>882 を見てこれを思い出しましたが

http://qb5.2ch.net/test/read.cgi/operate/1105035540/160
>160 ：FOX ★ ：05/03/09 03:45:11 ID:???0
>　　　　　　　　:
>　　書き込みは 専用のDSO(written in C)

POST されたフォームデータを DSO プログラムで扱う方法としては，
まずは ap_{setup,should,get}_client_block() でリクエストボディを読み込んで
自力でパースするという方法があって，882 のもそういう形でやっているようです．

しかし，フォームデータを扱うのに便利なライブラリ/モジュールが Apache Project で
作られていまして，それを使うとかなりスマートにフォームデータを扱えます．
雪だるまをやる際にはこれを使うといいと思います．

libapreq (Apache HTTP Request Library) http://httpd.apache.org/apreq/

[FreeBSD-Announce] FreeBSD Security Advisory FreeBSD-SA-05:05.cvs
http://lists.freebsd.org/pipermail/freebsd-announce/2005-April/000991.html

CVSサーバが動いてる時に起こるのかな。

>>886
さすがに過去ログサーバはいろんな意味で超重要なので、
それなりのものを入れてあって、チェックもきちんとやってはいますが、
例によって過信するといまいちなので、どきどきしています。

テープのみつもりってどうなったのかしら。
# 私も少し、製品を調べてみるか。

>>887
いつもどもです。そういうのあるですか。
見てみると、FreeBSD の ports もあるみたいですね。

>>888
cvsup.peko.2ch.net を更新せねば。

>>889
…と書いたけど、cvsupdは影響ないのかな。
とりあえず、更新はしてみた。

# ちょっとおでかけ。

>> 885

でも HDD が二台同時にお亡くなりになったら、ダメでしょ。
二台同時に落ちる確率は、一台だけよりも低いから許容範囲?

>>891
その場合はもちろんだめすね。
だから、どうしようかなってのが、まさに考えどころなわけで。

>>892
hot spareを２つにしてみる

これも３つ同時に逝くとだめになりますけど、
３台同時に逝く確率は２台同時に逝く確率よりは低いでしょう

といってみる

>>892
それでもrebuild中の負荷で二台目が逝ってしまうと駄目だな。

memoriesは通常時はアクセス少なそうだし、不具合が表面化しにくそう。
rebildによる連続アクセスが始まったとたんに、二台目あぼーんの可能
性が考えられる。

そんなん考えてったら3枚、4枚と増えていく罠。

でも同じ時と場所で作られたHDDを入れないようにすれば(リスクヘッジのアレね)
2枚まででええような気がしなくもなく。

>> 894

1 Hot Swap で再構築中に落ちるのが恐い。
落ちてから、再構築が終るまでは RAID5 保険が効かないのだから。

2 台以上の Hot Swap はどうやってデータを分散させるんだろ?
Hot Swap は全ておんなじデータ?

再構築中に落ちるリスクは、あるですね。

というか、1台あぼーん検出 => ホットスペア組み入れ・再構築
の最中にもう1台がだめぽになった場合、Sumaストレージはどういう振る舞いをするんだろう。
やはり、全あぼーんか。

で、
> 2 台以上の Hot Swap はどうやってデータを分散させるんだろ?
> Hot Swap は全ておんなじデータ?

の意味が、よくわからなかったりします。
Hot spare = Hot standby なので、普段はそのドライブは待機してるですね。

hot spare自体はほとんど入れたままの状態でないはないでしょうかね。

やはりテープドライブを早くかって適宜バックアップを取ってテープは耐火金庫行きがいいでしょうね
memoriesはもう追記されることのないdatが容量のほとんどですから

>> 897

どうも、RAID5 では待機ドライブは一つのみ、みたいです。
2 つ待機させるのは RAID6 らしい。

HD が飛んでも自分で復活できるのは待機ドライブがパリティを
保持しているから。ある意味、待機ドライブというのは、人間の
都合上の名前で、全部のドライブは立場上は対等です。

2 つの稼働中ドライブが飛んだり、稼働中一つと待機ドライブ
が飛んでも大丈夫なのか、またどうやって復活させるかと
いうことです。

RAID 5
ttp://www5.ocn.ne.jp/~essu/raid5.html

RAID 0 -> 6
ttp://www2s.biglobe.ne.jp/~system/faq/raidFAQ1.htm

RAID6 はここの図の方がよさげ。RAID5 のもわかりやすい。
ttp://home.interlink.or.jp/~odagi/yellow_ibm1.htm

>> 899

> 2 つの稼働中ドライブが飛んだり、稼働中一つと待機ドライブ
>が飛んでも大丈夫なのか、またどうやって復活させるかと
>いうことです。

なんか自分で読んでいてもイマイチ通じていない気がする。

RAID の全ての 2 つのドライブの組合せにおいて、
完全なデータの復旧を保証するデータとパリティの配置は存在するのか。

ぶっちゃけた話、この二台組だったら壊れても大丈夫だけど、
この二台組が同時に壊れたら全アボーンだよっていう組合せがあるのかなと。

>> 885
>> 897
>> 889

Hot Swap の意味を間違えていました。
Hot Swap とは RAID5 の中には組み込まれておらず、
待機しているドライブのことだったのですね。
RAID組の中のドライブの一つかと思ってまつた。

スマソ。

RAID5 に組まれているのが止まったら、Hot Swap を使って、RAID を
再構築し、壊れたやつを入れ換えると、次の障害まで待ち続けると。

>>901
はい、そういうことです。＞最後の2行
とりあえずRAID 5なら、これが現実的な解なのかなと。

というわけで、現時点で判明している今回の主な作業予定。
調査によるとSumaの新ファームも出ておらず、
CobraサーバのBIOS更新も今回は必要なさげなので、前回(9月)ほどは忙しくない見込み。

忙しさは、2) と 6) に依存するのかなと。

1) ex10のOS更新・調整等(必要に応じて)
2) いくつかのサーバのOS更新(期日までにFreeBSD 5.4Rが出ていれば)
3) リモートからSumaのファームウェアを更新可能な状態にしてくる(ケーブルの再接続など)
4) cobra2247のSCSIケーブル追加(同じchannelに2台ディスクがついているため: Jimさんにケーブル頼んでおかないと)
5) PIE内の新スペース、通称「XO」の視察(ひ（りゃ が予約した携帯用ラックスペースを含む)
6) >>880 のサーバやスイッチ類が届いていれば、作業のお手伝い
7) 電車男の本をJimさんに渡す

あとは、
8)リモートコンソール環境の整備(できるかどうか要確認)

ぐらいか。

あと、現地に行った時にやっておくべきことがあれば、ご指摘くださいです。

XO=eXtraOrdinary??

> 7) 電車男の本をJimさんに渡す
英訳本でてるんですか？(す

日本語だよ? って言ったら、
それでもいいから持ってきてくれ、ってゆってたのです。

>>906
You can subscribe all article of the Densha-Otoko on the internet.
(電車男の全文がネット上で読めるよ)

ともいいました？

本が欲しいのよ、彼は

コレクターですね。

RAID61(6+1)なんてのは無いのだろうかとふと思ってみたり。

>>910
片方はソフトでもう片方はハードで、とかならできる鴨

TODO:

mod_authz_iplist
★山田ウィルス対策スレ【ええけつしとるのぉ(*´Д`)ﾊｧﾊｧ】
http://qb5.2ch.net/test/read.cgi/operate/1113229514/881,885

bbsmenu/bbstable
★山田ウィルス対策スレ【ええけつしとるのぉ(*´Д`)ﾊｧﾊｧ】
http://qb5.2ch.net/test/read.cgi/operate/1113229514/873,887

oyster901の順引きが出来ない。。。

>>913
maido3.com 未登録すね。
peko.2ch.net のDNSサーバのうちひとつは、セットアップをさぼっていたり(そのうちやります)。

>>903 追加

8) banana403 (= c-au/c-au1)システム再インストール&セットアップ

持って行くもの
・5.4R(または-RC?)を焼いたCD-R

で、このままだと 8) の間 c-au 系が全部止まってしまうので、
とりあえずDNSラウンドロビン系に設定を変えておこうかと。

bbq がいまいちだった原因について

niku.2ch.net の DNS サーバの情報がとれないための問題でした。
(niku.2ch.net の DNS サーバそのものは動いていました)

niku.2ch.net の DNS サーバは、nikuns1.peko.2ch.net. と定義されていました。
つまり、peko.2ch.net サブドメインで動いていないといけません。

3日ごとにこの NS のキャッシュがなくなった時点で、この情報がなくなり、再取得が起こります。
すると peko.2ch.net サブドメインにとりにいくのですが、その際に a.ns.peko.2ch.net と
c.ns.peko.2ch.net にとりにいきます。

その時に1台 (c.ns.peko)が動いていない状態であったため、うまくとれない状態に陥りました。
原因は、oyster901 が先日あぼーんした時に DNS サーバの構築をさぼっていたためでした。

つまり、>>913 と原因は同じでした。
で、緊急に oyster901 で peko.2ch.net のDNS サーバを動かし、問題解決をはかりました。

oyster901 で peko.2ch.net ドメインの DNS サーバが動いているのはもはや「歴史的事情」なので、
別のサーバに移設することにします。

今日ごごいちにでもセットアップ作業をして、このためのDNSサーバの変更依頼を出します。
あわせて、>>915 の最終段落の作業も依頼へと。

>916
つ▲

peko.2ch.net の DNS サーバのひとつは、banana201 = www で動かそう。
セットアップ後、申請へと。

セットアップできました。

以下のDNS設定変更をお願いします。

1) peko.2ch.net サブドメインのDNSサーバホストの一部変更
2) uma.2ch.net サブドメインの廃止 & uma.2ch.net の管理を上位ドメインに戻す
3) c-au 系のラウンドロビンDNS化

(現在)
&peko.2ch.net:206.223.151.226:a
&peko.2ch.net:206.223.147.48:c
&uma.2ch.net:206.223.151.226:b
&uma.2ch.net:206.223.147.48:c
+c-au.2ch.net:206.223.150.96

(変更後)
&peko.2ch.net:206.223.147.48:c
&peko.2ch.net:206.223.151.10:d
+uma.2ch.net:61.211.230.17
+c-au.2ch.net:206.223.150.95
+c-au.2ch.net:206.223.150.140
+c-au.2ch.net:206.223.150.250

>>917
このくらいじゃ、全然だよ

oyster243 の RAID 1 カードが到着し、OS のインストールにとりかかったと
one of inside person から連絡がありました。

>>919
ど〜ん

>>922
nslookupで確認してみますたー

umaとc-auはOK
pekoはIP返さない（そもそも仕様？）

>>923
どもです。

>>923
> pekoはIP返さない（そもそも仕様？）

そういう仕様です。

>>882
すっすごい。。。。

http://qb5.2ch.net/test/read.cgi/operate/1112024113/88

88 名前：動け動けウゴウゴ２ちゃんねる[sage] 投稿日：2005/04/24(日) 23:40:03 ID:9UxsRJ3e0
【板】banana全鯖
【機能】L.A.が10を超えたら1未満になるまで自動的にbbs.cgiの起動を停止
【理由】どうせbbs.cgi止めるまで収まらんし。だったら自動化しちゃえ
【需要】表立っては出てこないけど洗剤的には。
【補足】自動人大杉みたいな感じで。tiger,cobraは自力で立ち直れるからいらない。

を、httpdレベルでやれるといいかも。

具体的にはLA見て、特定のcgiの実行をさせないとかいうかんじか。
(bbs.cgiでやる(昔の「お茶飲め」は結局あまり効果がないことが証明されているので)

>>926 例えば，こんな感じで DSO プログラムでチェックしてから実際の bbs.cgi に渡すとか．

#define REAL_BBS_CGI "/test/realbbs.cgi"

int dso_main(request_rec *r, int argc, char **argv)
{
    double loadavg;
    const char *loadavglimit;

    getloadavg(&loadavg, 1);
    loadavglimit = apr_table_get(r->subprocess_env, "BbsCgiLoadAvgLimit");
    if (loadavglimit && loadavg >= atof(loadavglimit)) {
        /* 人大杉 */
        apr_table_setn(r->err_headers_out, "X-Load-Avg",
                      apr_psprintf(r->pool, "%.2f (Limit = %s)", loadavg, loadavglimit));
        return HTTP_SERVICE_UNAVAILABLE;
    }

    ap_internal_redirect(REAL_BBS_CGI, r);
    return OK;
}


あと，mod_authz_iplist 入れるなら(>>912)，もし
`in6_addr_t' undeclared のようなコンパイルエラーが出たら

    -Din6_addr_t=struct\\\ in6_addr

を apxs の呼び出し時に追加しておいて下さい．

#RLimitCPU 120
↓
RLimitCPU 30

@ ex10 。
とりあえず重くなった時に起こる、speedy_backendの暴走に仮対応。
(暴走しだしたら前よりも早く死ぬ)

本日の作業予定:

1)banana403 OS再インストール
2)cobra2247 SCSIケーブルインストール
3)oyster243がうまくつながらない問題

oyster901 = ex10

・5.4-RC3の最新に更新
・MIXED_MODEを再度有効にした(5.4-RC3ではデフォルトでは無効)
・メモリディスクの容量を64Mに増やした(40Mではちょっと足りないっぽい)

現在の進捗:

1) ex10のOS更新・調整等(必要に応じて) → 完了
2) いくつかのサーバのOS更新(期日までにFreeBSD 5.4Rが出ていれば) → 5.4Rがまだ出てないのでやらない予定
3) リモートからSumaのファームウェアを更新可能な状態にしてくる → 完了
4) cobra2247のSCSIケーブル追加 → 完了
5) PIE内の新スペース、通称「XO」の視察(ひ（りゃ が予約した携帯用ラックスペースを含む) → 完了
6) >>880 のサーバやスイッチ類が届いていれば、作業のお手伝い → 動作チェック等まだにつきやらない予定
7) 電車男の本をJimさんに渡す → 完了
8)リモートコンソール環境の整備(できるかどうか要確認) → XOの整備のあとになるとのこと
9) banana403 (= c-au/c-au1)システム再インストール&セットアップ → 作業中

前回やったcobraサーバのBIOSバージョンアップ → 今回は必要なし
同じく、Sumaストレージのファームウェアバージョンアップ → 最新ファームにつき必要なし

>>931
> 9) banana403 (= c-au/c-au1)システム再インストール&セットアップ → 概ね終了。動作観察中

10) oyster243 の状況チェック → 明日の予定

今日の作業は、ここまで。
しばらくしたら、迎えが来る予定。

>>933
道楽でここまでやるんですねぇ・・・・乙です

>>930
> ・MIXED_MODEを再度有効にした(5.4-RC3ではデフォルトでは無効)

NO_MIXED_MODE の間違い。
ちなみに、最新のstableだったかではこのオプションはもう古いという噂も。

Perl のモジュールで Jcode というのを入いれて欲しいですー
>>935

@tiger , cobra

>>936
掲示板tiger/cobraにインストール中、、、。

ちと　20min ほど離席

>>936 はできたはず。
標準インストールスクリプトに突っ込んでおこう。

おおっ

どもです
実験してみますー @ex10

よさげ

全部に配布しますー

oyster243のネットワークパフォーマンスをチェック。

oyster902 (=memories) との間で360MBytesほどのファイルをFTPしてみましたが、
incoming, outgoingとも特に問題なさげでした。
ちゃんと100Mbps近く(11MBytes/secぐらい)出ている模様。

ただ、ちょっとHDDへの書き込みが遅めな気がします。
で、テストは手元側のファイルを /dev/null にしてやりました。
HDDに書き込むと、20Mbpsとか30Mbpsぐらいしか出ないみたいです。

たぶん、mpt(= LSI1030)コントローラのIntegrated RAIDを使っているせいかなと。
このへんは、Seanさんと別途調整ですね。
(今日は日曜なので、Seanさんはここにはいません @ PIE office)

Jimさんにスイッチの様子をチェックしてもらっていましたが、
パケットの再送やドロップは、ひとつもなかったとのこと。

ということでネットワークの問題は解決したと考えます。
あとは、帰国後でもOKかなと。

1) cobra2245のRAID
(LSI logic MegaRAID U320-2、専用RAIDコントローラ内蔵、パフォーマンスよい)

amrd0: <LSILogic MegaRAID logical drive> on amr0
amrd0: 34938MB (71553024 sectors) RAID 1 (optimal)

2) oyster243のRAID
(LSI logic 1030 Integrated RAID、上のカードよりもパフォーマンス悪いはず)

da0: <LSILOGIC 1030 IM 1000> Fixed Direct Access SCSI-2 device
da0: 320.000MB/s transfers (160.000MHz, offset 63, 16bit), Tagged Queueing Enabled
da0: 35000MB (71682031 512 byte sectors: 255H 63S/T 4462C)

となっていました。
ということでこのへんは、別途Seanさんと調整します。

ということでとりあえずの結論: ハードウェアそのものやネットワークは、異常なしのはず。

lang/perl5.8じゃないんだー

tiger/cobraは5.8.5/5.8.6ですが、ないって言われたですね。
portsから入れる時にも「これは標準で入ってるよ」って言われなかったし。

ちょっと、検索してみた。

Jcode作者の公式ページ
http://openlab.jp/Jcode/ より引用

As of Perl 5.8.0, all the Jcode capabilities are avaialble in standard distribution
via Encode module Though I will maitain Jcode for old perls, I recommend that
you use Encode if your perl is new enough. Encode more featureful, robust,
and most of all, standard.

なので、Perl 5.8.0以降な環境＊しかない＊なら、Encodeモジュールを使ったほうがいいと。
でもたぶん、「しかない」わけじゃない、、、かも。

小飼弾さんの厳密さについていけないから、ラッパーのJEncodeを使ってたりする。

oyster243 の設定状況について、ちと長めのメールを送りました。 > かんけいかくい

>>948
すぐに Sean さんから返事が来ました。
# 今、真夜中なんですが、、、。

たぶんこれで、oyster243 の問題も解決の方向かなと。

Encode, Text::Iconv, Jcode のパフォーマンスの比較をちょっとやってみましたが，
Encode はよさげですね．Jcode も 2.0 からは Perl 5.8.1 以上なら Encode の
ラッパになるそうなんで，ラッパとしての Jcode ならいいんじゃないでしょうか．

% time ./jconvtest Encode text.euc
0.705u 0.031s 0:00.73 100.0% 10+1945k 0+0io 0pf+0w
% time ./jconvtest Iconv text.euc
1.291u 0.046s 0:01.33 100.0% 10+2038k 0+0io 0pf+0w
% time ./jconvtest Jcode text.euc
7.147u 0.031s 0:07.17 100.0% 10+2056k 0+0io 0pf+0w
% time ./jconvtest Encode text.utf8
1.078u 0.023s 0:01.10 99.0% 10+1992k 0+0io 0pf+0w
% time ./jconvtest Iconv text.utf8
1.160u 0.054s 0:01.21 100.0% 10+2040k 0+0io 0pf+0w
% time ./jconvtest Jcode text.utf8
7.656u 0.070s 0:07.72 100.0% 10+2082k 0+0io 0pf+0w

・ sunos.saita.ma で拝借している tiger 鯖で実行．
・ このスレの >>1 本文の EUC-JP / UTF-8 版を入力テキストとして使用．
・ Text::Iconv, Jcode は元々入ってなかったので，自分でビルドしたのを使用．
・ Jcode は 0.88（ラッパにならないもの）を使用．

[使用コード (bzip2+base64)]
QlpoOTFBWSZTWcCk1qYAAQhfgETQfe/8/4+13gS/9//uQALRVRUqAJJE1NMj0mCN
TaKehMmnpHoTTajR6mgGmmnogiShNT1PUmjA0gyNqAADQGMoNHoj0hxkyaaYTIyB
gRiaMEYQaNMAAhxkyaaYTIyBgRiaMEYQaNMAAlyI9fCSdUaYuqECmo8dm2wbR+cq
RJsZGVGSUGsqoWIj7s2Grkjy78O5kJiNwwZksjfwWdemgjhKlFVnDWgW8fSOHRX5
LB6j2dA6sl7xfpfWtRVjb+wTJbU9d6wuNpSnvZm46g3kmmA6lYxcfR/c2aPrkSMh
IQj5qoEkqUkDwyMWpediiXwz+jiwXwbRO06IszDMBvZLjGI+JlPYFpbvUthi+CPD
x1uz3jOLI1w7hCyzNOxePANl2NZIsEjE5+/s6dDKo7s7lIq/kax2ULCOjczcIXQK
JdM3vbb8e0rkE4juCR9PcjcX4T0rBMPgZeVW6daYvBjYBspYUZHJrv6/SzAyw/S0
URUiztUwLq682ZBIvCx8f3otM817t8uNYoPrRZWgvP4sXTpX1LYOJWk2Jwvv3+Et
gE7Yx4QlAoz6Ne0Zb3dCPWHFjHzbUrK0tBaganxGGjYS7LjGiSQNvY3pCQOTirs7
IXbScwOFtdLC5tdHaG9kicrJUM8HcJua7DNagNhYk/oLiIxigV4si5hOqA6TOm6x
cEgSm/XeYyho3Qb4O0scuy795MMr0BjOcvMO3EkkCdLyAgrTH0uc5EKMlZqpaYL6
bhanIzIoDqyrYJrvKaUMnIhnoDnExGlQUB5Q4SlZKl6FRkSVjCUe0Vty5QgjDNaK
ypKpQFFBwMikkHcqWChiFRKDCY9r7AKgxXYzkkGITivSUGAx5jzKEwW5MMylVoao
JKC8zmMcVmRepqyrAgmYOFy8VhcLQCtxCDbJzviSrWJycH/F3JFOFCQwKTWpgA==

この調子なら中旬くらいには正式版かな


Fourth release candidate 2 May 2005
Heads up to -stable 2 May 2005

こっちで、

まずは
tiger509 , 510 , 511, 512 から

tiger509 , 511 , 512 の新IPアドレスは把握した
しかし 510 が行方不明。

ですね。

どうも、起こったことは、

・携帯系サーバ群を一部? 移動したらしい
・しかし、携帯と関係ないサーバも一部移動してしまったように思える

ということみたいです。ぶー。

<nslookup:tiger510.maido3.com/*>

Non-authoritative answer:
tiger510.maido3.com A 86400 206.223.152.70
tiger510.maido3.com MX 86400 0 tiger510.maido3.com

Authority:
maido3.com NS 253109 ns1.maido3.com 206.223.148.254
maido3.com NS 253109 ns2.maido3.com 206.223.147.254
NSLookup normal completion.

hobby7.2ch.net にnslookupしてみたら
いちおう 206.223.151.62 ってでてきました。
pingはつながりませんが、

壊れたスイッチは新しいのに置き換え済み
ただIPかわったサーバの新IPがわからず、(tiger510)

携帯系bananaサーバの状況

・リブートが入った、または入ったと思われるもの

banana402 banana403 banana404 banana405 banana406

・プライベート側I/Fが落ちているもの

banana402

・ログインできないもの

banana403 (pingかからない)

DNS はまだ一切 update していません

転記。

795 名前：root▲ ★[sage] 投稿日：2005/05/03(火) 22:33:16 ID:???0
tigerサーバの状況を確認。

・リブートが入った、または入ったと思われるもの

tiger503 tiger504 tiger509 tiger510 tiger511 tiger512

・IPアドレスが変わった、または変わったと思われるもの

tiger509 tiger510 tiger511 tiger512

・今ログインできないもの

tiger510 (pingかからない)
tiger512 (pingかかるがsshで入れない)

・/etc/hostsが修正されていなかったもの

tiger509 (さきほど新アドレスに直した)

もうひとつ。

871 名前：root▲ ★[sage] 投稿日：2005/05/03(火) 22:46:31 ID:???0
cobraサーバの状況。

・リブートが入ったもの

cobra2244 cobra2245 cobra2246

・プライベート側のネットワークが落ちているもの

cobra2247

>>959
何も作業しないで〜

まずは何をすべきかの洗い出し

で、これで全部か。

955 名前：root▲ ★[sage] 投稿日：2005/05/03(火) 23:01:50 ID:???0
あとは、banana225 (= love3) がリブート入ったですね。

>>961
はい、
> ・/etc/hostsが修正されていなかったもの
> tiger509 (さきほど新アドレスに直した)

以外は、作業していません。
他のは/etc/hostsも既に変わっていました。

繋ぎ間違えてるに1票

>>964
たぶん、、、

今 PIE に問い合わせ中。。。
jenjenが向かっているらしい、

さてと。

cobra2244 2256 2246 は、＊Gigabitで＊繋がっていました。
表、裏(プライベート側)、両方とも。

>>966
2244 2245 2246 だった。

>>966
どたばたするけど
short cut かと、

short cut = Jim の好きな言葉

で、リブートが入っていないcobraサーバ 2247 は、プライベート側が落ちています。

…ということは、たぶんまだつなぎなおしてないんですね。
例の携帯セグメントに。

ひょっとして、いきなり移動した?

>>968
うーむ。

で、2247はまだ＊100Mbpsで＊繋がっています。で、プライベート側が落ちている。
つまり、まだ移動してない、、、ってことなのか。

blackgoat3は、1Gで繋がっていますね。(外側、内側とも)
blackgoat4は今入れないので、わかりません。

>>970
はいはい。そんな感じでした。

リブートが入った tiger503 tiger504 も、1Gで繋がっているようです。(携帯とは関係ないサーバですが)

tiger509 = news19 も、1Gで繋がっていました。

リブートが入ったtiger/cobraは、すべて1Gで繋がっている模様。

どうも 新IPをみると
5F のままのようです　(tiger509-512)

>>975
スイッチだけ、一時的に流用したのかな。

たぶん

510 の新IPがわからないというのは置いておいて

あとは DNS を更新するだけで ok かな?

>>976 指示お願いします

banana402〜406(ログインできない403を除く)も、すべて外側が100Mbps(最大速度)に変わっていました。
やはり、繋ぎ替えしたようです。

>>978
2ch.netのほうはDNSが既に変わっているようですが、、、。
maido3.com のほうは、変わっていないようです。

DNSのほうは、これから状況把握します。
IPアドレスが変わったのは、tiger509〜tiger512だけのようですね。

こっちもそろそろ次スレ？

>>980
関連スレが増えてた希ガス

>980
rootさんがご自分で立てるでしょうから
お任せすればよいかと

2ch.net のDNSは、既に変わっているようです。
ns1.maido3.com ns2.maido3.com で確認しました。

つまり、2ch.net のDNS更新は、既に行われていると思います。

2ch.net のほうの設定が正しいとすると、新アドレスはこうなります。
ただし、tiger510とtiger512は、ログインできていないので、
ほんとうに下記で正しいのかはわかりませんが。

問題なければ、maido3.com のほうの変更をお願いします。

+tiger509.maido3.com:206.223.151.67
+tiger510.maido3.com:206.223.151.62
+tiger511.maido3.com:206.223.151.55
+tiger512.maido3.com:206.223.151.57

一度 512 リブートにちょうせんしてみます

で、現在の障害状況

1)banana402のプライベート側ネットワークが落ちている。
no carrierなので、ケーブルが繋がっていないと思われる。

2)banana403に入れない。
pingもかからない状態。

3)tiger510 = hobby7 に入れない。
pingもかからない状態。

4)tiger512 = blackgoat4 に入れない。
pingはかかるが、sshで入れない。
また、プライベート側は ping もかからない。

5)cobra2247のプライベート側ネットワークが落ちている。
no carrierなので、ケーブルが繋がっていないと思われる。
また、外側の接続速度がまだ100Mbpsのままである。

>>984
よろしくお願いします。

こちらからはリブートできなかった < tiger512
jenny到着待ちかと、

>>983
いきます

>>986
了解です。

到着を確認したら、お知らせください。
とりあえず状況は概ね把握できたので、あとはひとつひとつ確認・修復していくということで。

>>980-982
ということで、立ててきます。
関連スレは確かに増えてますが、そのへんは適当で。

【Project peko】2ch特化型サーバ・ロケーション構築作戦 Part18
http://qb5.2ch.net/test/read.cgi/operate/1115133136/

>>990
過去ログは、root★さんが貼るの？

>>991
そのへんは、よろしくお願いします。

>>983
done

TTL値は私しらないです

>>993
86400 みたいですね。< maido3.com の各レコード
2ch.net は 300 なので、比較的すぐに変わっているはず、、、。

jenjen & Sean PIEに到着のもよう、

>>995
了解です。

>>995
maido3.com の中の人経由でいきますか?
あるいは私が直接でもOKです。

ICQ上げていますので、向こうとは直接対応も可能な状態。

わたしに情報が来ないなら
撤収します

hobby7 ping かかるようになったみたいです。
みてきます。

【Project peko】2ch特化型サーバ・ロケーション構築作戦 Part18
http://qb5.2ch.net/test/read.cgi/operate/1115133136/

このスレッドは１０００を超えました。
もう書けないので、新しいスレッドを立ててくださいです。。。