【Project peko】2ch特化型サーバ・ロケーション構築作戦 Part18
◎5月3日〜4日のサーバ障害の件について(これまで得ている情報のまとめ)
日本時間5月3日10:00前に、PIEの主にtigerサーバが接続しているスイッチが
物理的に壊れました(最初の障害発生)。
そのため、そのスイッチに接続しているサーバへの接続が一斉に不可能になりました。
それを検知した、JimさんをはじめPIEの中の人たちはPIEにかけつけ、
対応をはじめました。
通常であれば壊れたスイッチをスペアのものに変更して
VLAN(どのポートをどのネットワークに所属させるかの設定、各スイッチにどのサーバを
接続するかによって異なる)を設定しなおし、復旧を図るのですが、
Jimさんはその場で、ちょっと別のことを考えました。
日本時間5月3日10:00前に、PIEの主にtigerサーバが接続しているスイッチが
物理的に壊れました(最初の障害発生)。
そのため、そのスイッチに接続しているサーバへの接続が一斉に不可能になりました。
それを検知した、JimさんをはじめPIEの中の人たちはPIEにかけつけ、
対応をはじめました。
通常であれば壊れたスイッチをスペアのものに変更して
VLAN(どのポートをどのネットワークに所属させるかの設定、各スイッチにどのサーバを
接続するかによって異なる)を設定しなおし、復旧を図るのですが、
Jimさんはその場で、ちょっと別のことを考えました。
|
|
|
「こいつらはBlackGoat Project
(例の携帯&公開datサーバ構築、PIE内ではこう呼ばれています)のサーバじゃないか。
どうせ今スイッチが壊れてこいつらは落ちてるんだし、
今他のサーバも含めて、移動対象のサーバを全部
新しい場所に移動して動かしてしまえば、一石二鳥。
俺って頭いい。今飛行機の中にいるrootも喜ぶだろう。」(一部台詞は若干脚色あり)
そう判断したJimさんは部下に指示し、サーバの移動をはじめました。
しかしrootは、どのサーバを移動するのかの正確な指示はもちろん、
移動に伴いIPアドレスをどうするか(maido3.comの中の人も私も、
移動でIPアドレスは変わると思っていた)、DNSサーバの設定変更の手順や
サーバのシャットダウン・リブートのタイミング・スケジュール等については、
現地ではまだ何もJimさんに話してはいませんでした。
もちろん、プロジェクトの内容は話し合っていました。そして、
「これは重要なプロジェクトで、かつお互いのコーディネーションが必要な作業だから、
私が帰国したら関係者で連絡をとりあってすすめていこう。」
というのが、現地でのとりきめでした。
(例の携帯&公開datサーバ構築、PIE内ではこう呼ばれています)のサーバじゃないか。
どうせ今スイッチが壊れてこいつらは落ちてるんだし、
今他のサーバも含めて、移動対象のサーバを全部
新しい場所に移動して動かしてしまえば、一石二鳥。
俺って頭いい。今飛行機の中にいるrootも喜ぶだろう。」(一部台詞は若干脚色あり)
そう判断したJimさんは部下に指示し、サーバの移動をはじめました。
しかしrootは、どのサーバを移動するのかの正確な指示はもちろん、
移動に伴いIPアドレスをどうするか(maido3.comの中の人も私も、
移動でIPアドレスは変わると思っていた)、DNSサーバの設定変更の手順や
サーバのシャットダウン・リブートのタイミング・スケジュール等については、
現地ではまだ何もJimさんに話してはいませんでした。
もちろん、プロジェクトの内容は話し合っていました。そして、
「これは重要なプロジェクトで、かつお互いのコーディネーションが必要な作業だから、
私が帰国したら関係者で連絡をとりあってすすめていこう。」
というのが、現地でのとりきめでした。
tiger503 504 509 510 511 512 が、その壊れたスイッチに接続されていました。
tiger503 (= live20) 504 (= game10) 509 (= news19) 510 (= hobby7) については、
今回のBlackGoat Projectとは関係ありません。
しかし、スイッチが壊れてしまったため、Jimさんはそれらのサーバも
新ロケーション(XO)に移動することにしました。
しかし、XOロケーションに設置したそのスイッチには、
サブネット番号(206.223.144.250の144の部分)が、150と151の分しか設定していませんでした。
tiger503 504 はたまたまそのサブネット番号だったため、IPアドレスの変更は必要ありませんでしたが、
tiger509 510 511 512 は、番号が違っていました。
つまり従来のIPアドレスでは場所を移動することができないわけです。
そのためJimさんは、それら4台のサーバのIPアドレスを急遽変更することにしました。
tiger503 (= live20) 504 (= game10) 509 (= news19) 510 (= hobby7) については、
今回のBlackGoat Projectとは関係ありません。
しかし、スイッチが壊れてしまったため、Jimさんはそれらのサーバも
新ロケーション(XO)に移動することにしました。
しかし、XOロケーションに設置したそのスイッチには、
サブネット番号(206.223.144.250の144の部分)が、150と151の分しか設定していませんでした。
tiger503 504 はたまたまそのサブネット番号だったため、IPアドレスの変更は必要ありませんでしたが、
tiger509 510 511 512 は、番号が違っていました。
つまり従来のIPアドレスでは場所を移動することができないわけです。
そのためJimさんは、それら4台のサーバのIPアドレスを急遽変更することにしました。
Jimさんは、tiger/cobraサーバのroot passwordを知っています。
しかしそれは、緊急時や障害対応時にのみ使用することになっており、
顧客にroot権限ありで貸しているサーバには、通常貸主のプロバイダは
顧客に何の通知もなくログインすることはありえません。
しかしJimさんは、私に連絡がとれない状態であったこと(機内なので)、
またこれは緊急事態であると判断して、Jimさんの判断で対象サーバにログインし、
サーバのIPアドレスを変え始めました。
IPアドレスの変更が終わると、
そして、該当するIPアドレスを持っている 2ch.net のDNSサーバの設定を、
つじつまが合うように変更しました。
しかし、maido3.com のDNSサーバの設定は、変更していませんでした。
また、Z社の中の人にも、そのことは伝えていませんでした。
(搭乗時間につき、続きはあとで)
しかしそれは、緊急時や障害対応時にのみ使用することになっており、
顧客にroot権限ありで貸しているサーバには、通常貸主のプロバイダは
顧客に何の通知もなくログインすることはありえません。
しかしJimさんは、私に連絡がとれない状態であったこと(機内なので)、
またこれは緊急事態であると判断して、Jimさんの判断で対象サーバにログインし、
サーバのIPアドレスを変え始めました。
IPアドレスの変更が終わると、
そして、該当するIPアドレスを持っている 2ch.net のDNSサーバの設定を、
つじつまが合うように変更しました。
しかし、maido3.com のDNSサーバの設定は、変更していませんでした。
また、Z社の中の人にも、そのことは伝えていませんでした。
(搭乗時間につき、続きはあとで)
>>69
ちと修正
IPアドレスの変更が終わると、
そして、該当するIPアドレスを持っている 2ch.net のDNSサーバの設定を、
つじつまが合うように変更しました。
↓
IPアドレスの変更が終わると、 次にJimさんは、
該当するIPアドレスを持っている 2ch.net のDNSサーバの設定を、
つじつまが合うように変更しました。
ちと修正
IPアドレスの変更が終わると、
そして、該当するIPアドレスを持っている 2ch.net のDNSサーバの設定を、
つじつまが合うように変更しました。
↓
IPアドレスの変更が終わると、 次にJimさんは、
該当するIPアドレスを持っている 2ch.net のDNSサーバの設定を、
つじつまが合うように変更しました。
続き
それからJimさんたちは、携帯用のサーバ(携帯ネットワーク用スイッチに接続されているサーバ)を
順に移動していきました。
banana402 403 404 405 406、cobra2244 2245 2246の8台のサーバを
Jimさんたちは移動しました。たまたまこれらのサーバはすべて150と151の
サブネット番号を持っていたため、IPアドレスを変更する必要がありませんでした。
移動が終わるとJimさんは、携帯ネットワーク用スイッチをとりはずしました。
このスイッチは旧型のもので既に廃止予定のものでした。
昨年(2004年)PIEのスイッチが壊れることが何度かあったと思いますが、
それはこれと同型のスイッチで、PIEではこの信頼性が低いスイッチを全廃することにし、
このスイッチが生き残っていた最後の一つだったそうです。
こうしてJimさんたちは、その日の作業を終えました。
それからJimさんたちは、携帯用のサーバ(携帯ネットワーク用スイッチに接続されているサーバ)を
順に移動していきました。
banana402 403 404 405 406、cobra2244 2245 2246の8台のサーバを
Jimさんたちは移動しました。たまたまこれらのサーバはすべて150と151の
サブネット番号を持っていたため、IPアドレスを変更する必要がありませんでした。
移動が終わるとJimさんは、携帯ネットワーク用スイッチをとりはずしました。
このスイッチは旧型のもので既に廃止予定のものでした。
昨年(2004年)PIEのスイッチが壊れることが何度かあったと思いますが、
それはこれと同型のスイッチで、PIEではこの信頼性が低いスイッチを全廃することにし、
このスイッチが生き残っていた最後の一つだったそうです。
こうしてJimさんたちは、その日の作業を終えました。
しかし、本来cobra2245 (= bbq)は、携帯とは関係ありませんでした。
でもJimさんたちは、XOロケーションに移動してしまいました。
また、cobra2247 (= c-docomo/c-docomo2、DoCoMo用入り口)は
もちろん携帯用サーバですが、
Jimさんたちの移動リストから漏れてしまっており、移動されませんでした。
この結果 cobra2247 は、携帯ネットワーク用スイッチからとりはずされた状態に
なりました。
でもJimさんたちは、XOロケーションに移動してしまいました。
また、cobra2247 (= c-docomo/c-docomo2、DoCoMo用入り口)は
もちろん携帯用サーバですが、
Jimさんたちの移動リストから漏れてしまっており、移動されませんでした。
この結果 cobra2247 は、携帯ネットワーク用スイッチからとりはずされた状態に
なりました。
一方、サンフランシスコの空港までJimさんに送ってもらったroot一行は、
そんなことは露知らずに、修行の旅を楽しんでいました。
スターアライアンスゴールド会員の特権を利用し、窓口で長蛇の列に並ぶこともなく、
前方通路側・隣席空きの席を出してもらったうえで、
預ける荷物には「すぐ出てくるおまじない」の優先タグをつけてもらいます。
出国後に免税店を冷やかしたあとは、豪華なエアラインラウンジで
タダ飯やケーキに舌鼓を打っていました。
もちろん、無線LANも電源も使い放題です。
で、30分前にゆっくりと搭乗窓口に行きます。
金色会員は飛行機に一番先に入れてくれるので、あせって登場口に行く必要がないのです。
そんなことは露知らずに、修行の旅を楽しんでいました。
スターアライアンスゴールド会員の特権を利用し、窓口で長蛇の列に並ぶこともなく、
前方通路側・隣席空きの席を出してもらったうえで、
預ける荷物には「すぐ出てくるおまじない」の優先タグをつけてもらいます。
出国後に免税店を冷やかしたあとは、豪華なエアラインラウンジで
タダ飯やケーキに舌鼓を打っていました。
もちろん、無線LANも電源も使い放題です。
で、30分前にゆっくりと搭乗窓口に行きます。
金色会員は飛行機に一番先に入れてくれるので、あせって登場口に行く必要がないのです。
登場 → 搭乗 >>73 最終行
今回root一行は、太平洋便にシンガポール航空(SQ)に乗っていました。
SQは「品質のエアライン」なので、
エコノミーのくせに食後にハーゲンダッツのアイスクリームが出たり、
AVがVODで何百曲も選べたり、シートもゆったりしていてとても過ごしやすいので、
rootのお気に入りの一つなのです。
今回rootに同行していたぴちぴちくん(仮名)は、
サロン・ケバヤに身を包んだSQのCAのウエストの細さにとりつかれてしまったようで、
なんだかうれしそうです。
そうこうしているうちに飛行機は順調に太平洋を横断して、
ほとんど時間通りに、目的地のインチョン空港に到着しました。
今回root一行は、太平洋便にシンガポール航空(SQ)に乗っていました。
SQは「品質のエアライン」なので、
エコノミーのくせに食後にハーゲンダッツのアイスクリームが出たり、
AVがVODで何百曲も選べたり、シートもゆったりしていてとても過ごしやすいので、
rootのお気に入りの一つなのです。
今回rootに同行していたぴちぴちくん(仮名)は、
サロン・ケバヤに身を包んだSQのCAのウエストの細さにとりつかれてしまったようで、
なんだかうれしそうです。
そうこうしているうちに飛行機は順調に太平洋を横断して、
ほとんど時間通りに、目的地のインチョン空港に到着しました。
入国審査をスムーズにクリアし、すぐに出てきた荷物を持って、
リムジンバスでソウル市内のホテルに向かいます。
道路はちょっと渋滞していましたが、バスから地下鉄を乗り継いで、
予定通りホテルに到着しました。
事前に「ネットワーク利用可能」を確認しているので、
「さて、運用情報の質雑スレにフシアナしてから、うまい焼肉でも食いにいくかぁ」
などと考えながらPCを開いてネットワークに繋いで、いつものように運用情報を開きました。
リムジンバスでソウル市内のホテルに向かいます。
道路はちょっと渋滞していましたが、バスから地下鉄を乗り継いで、
予定通りホテルに到着しました。
事前に「ネットワーク利用可能」を確認しているので、
「さて、運用情報の質雑スレにフシアナしてから、うまい焼肉でも食いにいくかぁ」
などと考えながらPCを開いてネットワークに繋いで、いつものように運用情報を開きました。