2ch特化型サーバ・ロケーション構築作戦 Part19
1/19/2006 0:40 JST ごろ、XOロケーションのサーバに障害発生。
一時的に全サーバへの接続性が失われる。
いくつかのサーバは、電源断が入った模様。
調査結果は追ってここに。
一時的に全サーバへの接続性が失われる。
いくつかのサーバは、電源断が入った模様。
調査結果は追ってここに。
|
|
|
XOにある、電源強制断が入ったサーバ:
tiger503 tiger504 tiger511 tiger512
cobra2245
tiger2508 tiger2510 tiger2511 tiger2512
XOにあるけど、電源強制断が入らなかったサーバ:
tiger509 tiger510
banana402 banana403 banana404 banana405 banana406
banana307
tiger2522 tiger2523 tiger2524 tiger2525
tiger2507 tiger2509
tiger503 tiger504 tiger511 tiger512
cobra2245
tiger2508 tiger2510 tiger2511 tiger2512
XOにあるけど、電源強制断が入らなかったサーバ:
tiger509 tiger510
banana402 banana403 banana404 banana405 banana406
banana307
tiger2522 tiger2523 tiger2524 tiger2525
tiger2507 tiger2509
とりあえず現在は、全サーバとも動作している模様。
原因によっては、何らかの根本的対策が必要な予感。
原因によっては、何らかの根本的対策が必要な予感。
ここで作業します。
緊急事態につき、野次馬カキコ禁止。
live22の板は、全部復帰できたはず。
緊急事態につき、野次馬カキコ禁止。
live22の板は、全部復帰できたはず。
tiger504 つながらず。
tiger509 電源断入った。復帰必要のはず。
tiger509 電源断入った。復帰必要のはず。
tiger510 電源断入った。 復帰必要のはず。
tiger511 電源断再度入った。
状況から考えて、電源不安でほぼ間違いないですね。
XOロケーション全体で起こっている模様。
アクセスがピーク過ぎるまでは、起こり続ける予感。
で、対応できる現地の人が誰一人オフラインではないので、
根本対応は、日本時間の昼あたりになりそうな予感。
XOロケーション全体で起こっている模様。
アクセスがピーク過ぎるまでは、起こり続ける予感。
で、対応できる現地の人が誰一人オフラインではないので、
根本対応は、日本時間の昼あたりになりそうな予感。
連絡がとれる人は全員ICQ的にオフラインのようです。
つまり、こちらではどうしようもない状況。
とりあえず、JimさんとSeanさんに状況をメール打っておきます。
つまり、こちらではどうしようもない状況。
とりあえず、JimさんとSeanさんに状況をメール打っておきます。
とりあえず、小康状態か。
tiger504 = game10 ダウンしたままの模様。
tiger504 = game10 ダウンしたままの模様。
Seanさんと連絡とれました。
状況を伝達中。
状況を伝達中。
Sean (02:14 AM) :
Which servers are not online????
Me (02:14 AM) :
Now tiger504 is offline. Please check.
Sean (02:15 AM) :
Please wait while I check it.
Which servers are not online????
Me (02:14 AM) :
Now tiger504 is offline. Please check.
Sean (02:15 AM) :
Please wait while I check it.
d1donly (02:28 AM) :
tiger504 is back up now...
mumumu (02:28 AM) :
Ok, I will check now.
tiger504 is back up now...
mumumu (02:28 AM) :
Ok, I will check now.
Me (02:53 AM) :
And I found tiger511 is now out of service.
Ping is OK, but other servers are down.
Please reboot it now.
Sean (02:54 AM) :
ok...I will.
And I found tiger511 is now out of service.
Ping is OK, but other servers are down.
Please reboot it now.
Sean (02:54 AM) :
ok...I will.
障害は2台のサーバを追加したことによる、電源のオーバーロード。
つまり、現地のミス(誰がやったかは不明)。
Seanさんが緊急に電源を繋ぎ変え、障害の原因そのものは修復された模様。
Me (02:44 AM) :
And I have one more question. Do you complete the power rearrangement?
I mean, is the cause of the trouble solved now?
Sean (02:45 AM) :
yes....it has been solved. I sent a completed mail msg just a few minutes ago.
つまり、現地のミス(誰がやったかは不明)。
Seanさんが緊急に電源を繋ぎ変え、障害の原因そのものは修復された模様。
Me (02:44 AM) :
And I have one more question. Do you complete the power rearrangement?
I mean, is the cause of the trouble solved now?
Sean (02:45 AM) :
yes....it has been solved. I sent a completed mail msg just a few minutes ago.
tiger511上がりました。
ファイルシステムが一部損傷しているようなので(datのキャッシュのところ)、
一時的にサービス止めて、リモートコンソールで作業します。
ファイルシステムが一部損傷しているようなので(datのキャッシュのところ)、
一時的にサービス止めて、リモートコンソールで作業します。
キャッシュ部分が破損していて、squidがおかしくなるようなので、
いったんキャッシュをゼロクリアして、squidを上げなおしました。< tiger511
いったんキャッシュをゼロクリアして、squidを上げなおしました。< tiger511
Me (03:24 AM) :
I received reports from 2ch users all servers of 2ch are normal and back online.
I think the trouble is solved now. Thank you for your work.
But I think this is human error. So, please be careful for your operation.
we serve most biggest BBS service in Japan, so, we are watched by millions
users of Japan always... Please do not forget it, it is very important for us.
Sean (03:28 AM) :
ok....I will remember
I received reports from 2ch users all servers of 2ch are normal and back online.
I think the trouble is solved now. Thank you for your work.
But I think this is human error. So, please be careful for your operation.
we serve most biggest BBS service in Japan, so, we are watched by millions
users of Japan always... Please do not forget it, it is very important for us.
Sean (03:28 AM) :
ok....I will remember
Me (03:30 AM) :
Yes. But it is proud for us.
It is very funtastic project that 2ch makes bigger and bigger.
Let's enjoy it together.
Sean (03:31 AM) :
Yes... I agree.
Sean (03:31 AM) :
I am excited for it too....
Me (03:32 AM) :
Ok, I was relieved to see it. Please don't let you down.
But server management is very important work for us, please be careful again.
Me (03:35 AM) :
And now time is 3 AM in Japan, so I feel a little bit sleepy.
I will check the servers for a while and will go to bed.
Thanks again for your quick recovery.
Yes. But it is proud for us.
It is very funtastic project that 2ch makes bigger and bigger.
Let's enjoy it together.
Sean (03:31 AM) :
Yes... I agree.
Sean (03:31 AM) :
I am excited for it too....
Me (03:32 AM) :
Ok, I was relieved to see it. Please don't let you down.
But server management is very important work for us, please be careful again.
Me (03:35 AM) :
And now time is 3 AM in Japan, so I feel a little bit sleepy.
I will check the servers for a while and will go to bed.
Thanks again for your quick recovery.
…ということで今日のところは、このぐらいで。
ここには書いてないけど、
もうちょっときついこと(電源オーバーロードは2回目でしょ、とか)もゆったです。
むぎゅー。
ここには書いてないけど、
もうちょっときついこと(電源オーバーロードは2回目でしょ、とか)もゆったです。
むぎゅー。