【Project peko】2ch特化型サーバ・ロケーション構築作戦 Part18

◎5月3日〜4日のサーバ障害の件について(これまで得ている情報のまとめ)

日本時間5月3日10:00前に、PIEの主にtigerサーバが接続しているスイッチが
物理的に壊れました(最初の障害発生)。
そのため、そのスイッチに接続しているサーバへの接続が一斉に不可能になりました。

それを検知した、JimさんをはじめPIEの中の人たちはPIEにかけつけ、
対応をはじめました。

通常であれば壊れたスイッチをスペアのものに変更して
VLAN(どのポートをどのネットワークに所属させるかの設定、各スイッチにどのサーバを
接続するかによって異なる)を設定しなおし、復旧を図るのですが、
Jimさんはその場で、ちょっと別のことを考えました。

「こいつらはBlackGoat Project
(例の携帯&公開datサーバ構築、PIE内ではこう呼ばれています)のサーバじゃないか。
どうせ今スイッチが壊れてこいつらは落ちてるんだし、
今他のサーバも含めて、移動対象のサーバを全部
新しい場所に移動して動かしてしまえば、一石二鳥。
俺って頭いい。今飛行機の中にいるrootも喜ぶだろう。」(一部台詞は若干脚色あり)

そう判断したJimさんは部下に指示し、サーバの移動をはじめました。

しかしrootは、どのサーバを移動するのかの正確な指示はもちろん、
移動に伴いIPアドレスをどうするか(maido3.comの中の人も私も、
移動でIPアドレスは変わると思っていた)、DNSサーバの設定変更の手順や
サーバのシャットダウン・リブートのタイミング・スケジュール等については、
現地ではまだ何もJimさんに話してはいませんでした。

もちろん、プロジェクトの内容は話し合っていました。そして、
「これは重要なプロジェクトで、かつお互いのコーディネーションが必要な作業だから、
私が帰国したら関係者で連絡をとりあってすすめていこう。」
というのが、現地でのとりきめでした。

tiger503 504 509 510 511 512 が、その壊れたスイッチに接続されていました。

tiger503 (= live20) 504 (= game10) 509 (= news19) 510 (= hobby7) については、
今回のBlackGoat Projectとは関係ありません。

しかし、スイッチが壊れてしまったため、Jimさんはそれらのサーバも
新ロケーション(XO)に移動することにしました。

しかし、XOロケーションに設置したそのスイッチには、
サブネット番号(206.223.144.250の144の部分)が、150と151の分しか設定していませんでした。
tiger503 504 はたまたまそのサブネット番号だったため、IPアドレスの変更は必要ありませんでしたが、
tiger509 510 511 512 は、番号が違っていました。
つまり従来のIPアドレスでは場所を移動することができないわけです。

そのためJimさんは、それら4台のサーバのIPアドレスを急遽変更することにしました。

Jimさんは、tiger/cobraサーバのroot passwordを知っています。
しかしそれは、緊急時や障害対応時にのみ使用することになっており、
顧客にroot権限ありで貸しているサーバには、通常貸主のプロバイダは
顧客に何の通知もなくログインすることはありえません。

しかしJimさんは、私に連絡がとれない状態であったこと(機内なので)、
またこれは緊急事態であると判断して、Jimさんの判断で対象サーバにログインし、
サーバのIPアドレスを変え始めました。

IPアドレスの変更が終わると、
そして、該当するIPアドレスを持っている 2ch.net のDNSサーバの設定を、
つじつまが合うように変更しました。

しかし、maido3.com のDNSサーバの設定は、変更していませんでした。
また、Z社の中の人にも、そのことは伝えていませんでした。

(搭乗時間につき、続きはあとで)

>>69
ちと修正

IPアドレスの変更が終わると、
そして、該当するIPアドレスを持っている 2ch.net のDNSサーバの設定を、
つじつまが合うように変更しました。
↓
IPアドレスの変更が終わると、 次にJimさんは、
該当するIPアドレスを持っている 2ch.net のDNSサーバの設定を、
つじつまが合うように変更しました。