【証券/IT】東証、システム障害の原因は「人為ミス」、診断レポートを“解読”できず--斉藤社長ら役員は月額報酬減額の処分 [02/16]

東京証券取引所は2月16日、2月2日に発生した大規模システム障害について、
「（東証の）職員が主体的にシステムの状態を確認せず、問題なしと判断した」
ことが原因だったと発表した。東証のシステム子会社である東証システムサービス
（TSS）の担当者と、保守ベンダーである富士通のSEが診断レポートを誤認し、
東証の職員が経営陣に適切な報告を怠っていたことが、対応の遅れにつながった
ことも明らかにした。

障害を起こしたのは取引関係者に相場情報を配信する「情報配信システム」。サーバー3台を
1セットとし、8セットで構成する。東証はサーバーを三重化しており、1台のサーバーに障害が
発生した場合、残り2台に自動的に切り替えて処理を継続する。東証は切り替えに成功したと
考えていたが、実際には失敗しており、同日午前中の一部銘柄の取引停止につながった。

経緯はこうだ。

午前1時27分、1台のサーバー（ノードA）でメモリーコントローラーの障害が発生し、監視
端末にエラーを示すメッセージが表示された。これを受け、TSSの担当者は「障害診断ツール」
を使い、診断レポートを出力した。

その後、TSSの担当者は富士通のSEに対し、電話と電子メールで診断レポートの内容を報告。
富士通のSEは診断レポートの内容を見て、残り2台のサーバー（ノードB、ノードC）が正常に
稼働していると判断し、TSSに切り替え処理が成功しているとの見解を伝えた。TSSはその
見解を東証の職員に伝え、東証は「当日の売買業務への影響はない」と判断した。

東京証券取引所グループIT企画部の田倉聡史 統括課長によると、診断レポートには「ノードAは
死にかけているが、ノードB、ノードCは正常に稼働している」旨の記載があったという。それを
見た富士通のSEは、正常稼働していると誤認した。

だが実際には、ノードBとノードCが処理を継続するには、「ノードAが処理不能だと表明し、
“バトン”を渡す必要がある」（田倉氏）。診断レポートには、ノードAがバトンを渡していない
ことが記載されていたが、それを富士通のSEは見逃した。「レポートの該当部分を見れば、
処理が切り替わっていないことが分かったはずだ」と田倉氏は説明した。診断ツールには問題が
なく、きちんと状況を分析していたが、診断レポートを読み解く人間の側に問題があったとの
見解を示した。

障害発生時の報告体制にも不備があった。東証のシステム担当者は自ら主体的にシステムの
状況を確認せず、TSSからの報告のみで「当日の売買業務への影響はない」と判断し、処理が
切り替わっていると誤認したまま午前2時44分に障害対応を完了。経営陣への報告を行わなかった。

経営陣へ報告すべきだと判断したのは、午前7時38分に一部の銘柄の相場情報が配信できない
ことが判明してからだった。システム本部長である鈴木義伯 専務取締役に連絡が取れたのは、
鈴木専務が出社した「午前8時頃だった」と東証IT開発部の宇治浩明 株式売買システム部長は
認めた。

東証は障害対応体制の改善や確認手順の明確化など、大きく四つの再発防止策を3月末までに
順次実施するとした。さらに、責任を明確にするため、斉藤惇社長ら役員4人の月額報酬を
20〜30％減額する処分を発表した。

なお、切り替え失敗の原因については「調査中」とし、明らかにしなかった。

◎http://itpro.nikkeibp.co.jp/article/NEWS/20120216/381903/

丸投げし続けたツケってことよ

また富士通か

クラスタってのは恐ろしいのぉ

そこまでレポートが正確に出せるなら
自動的に切り替えるようにすりゃいいのに

深夜勤の富士通プロパーが諸悪の根元ってこと？

金融資本家たちによる世界支配に切り込む映画『Thrive』がアメリカで注目を集めている
http://www.rui.jp/ruinet.html?i=200&c=400&m=260433

金融資本家たちによる世界支配の構造に切り込む映画『Thrive』が注目を集めているようだ。
制作者フォスターは、洗剤などで知られるP&Gという巨大メーカーの子孫として生まれ、恵ま
れた環境の中でエリート教育を受けた人だが、企業家になる道を捨て独自の道を選び、本作
のために相続した資産の480万ドルを投じ10年間を掛けて製作をしたという。
一定の誘導が有る可能性もあるが、紹介文を読む限り、本気さが伺える。
こういう映画が自主上映されているということが、少なくとも、変化の兆しだとはいえそうである。

ドキュメンタリー映画【THRIVE】4/10
http://www.nicovideo.jp/watch/sm16792631

富士通に仕事を発注←東証の人為ミス
↓
富士通が問題起こす←富士通の人為ミス
↓
富士通に仕事を再発注←東証の人為ミス

結論
人為ミスが重なったことが原因

人間がエラーをメールで担当に送るなんて何というクラッシックな手法を使うんだ
監視システム無いのかｗ

金融屋のお抱えseじゃ、クラスターシステムなんてまともに扱えないだろ

DBをメモリに乗せてるから、死にかけてる状態でも取引不良は起こるワケで
ロックダウンしてロールバックする僅かな時間で億単位の損害が出ちゃうから
人間様にお伺いをたてたレポート君が今回の功労者つてコトかな

診断レポートってファイルなのか？
文字列をトラップして別なメッセージを出すとか、メールを送るとか人間が読んで判断するという
危険性を排除できると思うのだが。

いくら鯖を三重化してても、障害が起こった時の措置が、
人間系ばかりじゃあな。

欧米だったら、引責辞任だろ。

出来高もないのに、正月まで市場を開いているくらいなんだから。

自動的に切り替わるってのは、診断レポートを見て切り替える担当も
機械の一部としてみなしたらってこと？

あれだけ高速でデータをやり取りするシステムが、お伺い立てないと切り替えられないのは
冗長性があるシステムとは呼べないのでは・・・

>>9
アラーム自体は飛んでるだろ
実際に運用してるやつがアラームやらレポート見ても分からんから
富士通にメールで投げただけだろ

最近、大規模なシステムトラブルって聞くたびに「ああ、また富士通か」と思ってしまう。
その上大体合ってる。

あれだけのシステムなんだから即対応できるように富士通のSE何人かを
常駐保守させればいいのに。。

バックアップほど当てにならぬものはないのう

>>18
常駐してるでしょ
３０分圏内に住まわせたり

現場に”人”がいれば良いってもんじゃねえんだよｗ

>>16
自動でそれらのエラーがメールされれば良いんじゃ無いのか

なにせ富士通の夜勤の人数は○○人
だからなｗ

>>18
できるSEほど社内で仕事を抱えてるんだからそれは無理。
常駐保守させるなら、役に立たんヤツを常駐させることになる。
ただそれじゃ余計エラーが多重化しかねないから、結局常駐させない方がマシ。

わかりにくいエラーログ作るなよ

なんだあんなでかいサーバ扱ってるのに、たった２人のチェックミスが発端になるのか？

どうせカッコつけて英語とかエラーコードとか吐き出すレポートなんだろうな

診断ツールってもシスログやクラスタ関係(プライムクラスタ?)
のログ切り取って出すだけだろうから、見落とすのは
あり得るかな、担当といってもこれだけのシステムだから
複数で検討してると思うんだけどどうなんだろうね?

>>18
要件定義をする東証がアホ揃いでSEがいないからやるだけ無駄
受注した富士通も下請けに投げるだけだし

富士通のＳＥも自動応答メールで問題ないって返したんじゃね？ｗ

>>24
１を見れば非常にわかりやすいし正常だったが担当者が誤読した。
これだけだぞ。ようは人間がバカだった。

東証はしらんけど
大証は24時間CEとオペレーターはいたな

人間の証明か

ログ吐いてるのに切り替わらんとか設計ミスかアプリのバグじゃね？

なんか保守担当の責任みたいになってるけど
実際は 自動切り替えが全く機能しなかった点に原因があるわけで
切り替えが行われていないという報告を人間が読み落としたのは 2次的な問題
どっちかというと 保守じゃなくて システムを作った側の責任だろ

どの道富士通の失態ってのは変わらんよ

しかし、処罰が軽いなあ……誰かの首が飛ぶレベルの事故だと思うんだが。
この人達、国の経済インフラを担っていると言う認識があるのか。

保守担当じゃなくて、富士通の技術力とサポート力のなさと
そんな所に任せっきりになる東証の無能さと体制が問題だな

こんなんで日本は金融立国とか目指せるの？ｗ

つまりノードBとノードCは正常に待機状態にあるというメッセージを
スタンバイが正常に行われたと読み違えたわけだ

富士通のＳＥなんてスキル低いのに、それに頼りっきりでは東証の
担当者もド素人レベルなんだな

俺は昔のように、手サインでの売買でもかまわんよ。
どうせ日中は板みないしｗ

>>1
「東証のシステム担当者は自ら主体的にシステムの状況を確認せず」

無茶言うな
担当つってもそのスジの技術業界人でもねーし、そのシステム、ハードウェアの専門職じゃねーんだぞ
ベンダーの専門家の報告を信じる以外にどう行動すればいいつーんだよ
これからはベンダーを超えるスキルを身に着けて自分自身で報告内容をすべて確認検証しろっていうのか

しかし、このレベルのシステムでエンジニアが常駐していないなんてあるんだな……恐ろしい度胸だ。
そこは十分な経費を掛ける部分だろうに。

開発には金を使うが運用費用をケチると言う典型だな。上層部のIT理解が浅いんだろう。

HかIにしておけば...
基幹NWは成功したのにな。

死にかけたノードAが、ノードB・Cに一言「あとは頼む」と言ってから死んでくれたら
たとえSEが使い物にならなくても何とかなったかもしれないわけだな

業者ガーの典型例にしか思えんな。
そろそろ、２セット並行運用のご提案すれ。

>>44
取引トランザクション処理中に引継ぎ処理までやったらアボンが早まると思わんか?w

やっぱり大証は残した方がいいな。どう考えて一つにしたらヤバイだろ。

富士通のSE優秀だなｗ
つーか三重化はしてるけど切り替えは手動なんだ
なんという高信頼システム

ちょっとコレは責任押し付けすぎだろ

>>39
下手に難しいレポート出すからじゃね？
こういうレポートにすれば、頭の悪い富士通ＳＥでも間違えることはないはず

　Ａ　　 Ｂ　　 Ｃ
　◎　　−　　−
　　
　　　　↓

　Ａ　　 Ｂ　　 Ｃ
　△　　△　　△
　　
　　　　↓

　Ａ　　 Ｂ　　 Ｃ
　×　　◎　　△

>>47
心配するな大証も富士通だw

>>34
だからおかしいぞ？、大丈夫なのか？と確認の電話とメールが言ったわけでしょ。
それをチェックしたがおｋおｋ問題ないよと誤読したことで朝まで放置される事態となり大問題に発展した。

自動で切り替わらんのか？

直接の原因はメモリーコントローラーの障害。
次に冗長系への切り替えが失敗したこと。
それらの原因も対策も不明だから、問題の対応は何も進んでない。

人間が解釈とかはさらに次の話で、この記事の大半は本当の問題から遠い話。
単に東証と富士通の双方で責任を分担しましょう、というアリバイ作りをだらだら載せてる無意味な記事。

正常に切り替わらないとかどんな欠陥装置だよ

>>48、>>53
自動切り替えだよ

＞　1台のサーバーに障害が発生した場合、残り2台に自動的に切り替えて処理を継続する。
と書いている
それに自動だからこそ、「切り替えに成功した」と勘違いしたんだろ

ただ、その自動切り替えの設計に問題があって、「中途半端に死なずにいるサーバーが
存在した場合にどうするか」に、『想定外』の部分があり今回失敗した
むしろ、切り替えの最終スイッチが手動だったら、今回のケースはうまくいっていただろう

「自動化するなら、あらゆるケースを想定して徹底的に自動化しないと反って危険」の
良い見本と言える

ヒント：SEは雇われチョンやシナ

後は言わなくてもわかるよな？

分かりづらかったって言ってるのか？

普通、コンソールに分かりやすく表示するし、担当者もぜんぜん知らないってこと無いだろうに。

システム上に不具合あったけど、人柱立てて、人間のエラーでした！って事にしてんのか？

どこに頼んだか言えよ

メモリコントローラが壊れたらそもそもソフトなんか動かないから、
ソフト作ったヤツの責任じゃない

「故障したほうからバトンを渡す」というデザインがクズ
狂っているのに渡せるわけがない
いまの政治と一緒

>>60
違うよ
これはソフト作った奴の責任

このスレでも何人か指摘してるけどさ、今回の発表は問題の核心から
注意を背ける言わば瞞しだよ
障害発生時に自動的に経路を切り替える技術ってのは高信頼性の肝になる技術なんだぜ

例えばGoogleなんて何万ってサーバを運用していて、毎日いくつもハードが壊れてるけど、
それでも安定してシステムが稼働しているのは壊れたハードのネットワーク経路を自動的に閉塞してるから
東証が富士通のarrowheadを採用したのも、信頼性が非常に高いと判定したからで、
その肝になってる技術の一つが障害発生時のネットワーク自動閉塞だったはず
その富士通ご自慢のarrowheadが実は信頼性が低いポンコツかもしれないんだよ
その「核心」に触れられたくないから富士通は人に責任を擦り付けたと…

まあでも、こんなものは直ぐに化けの皮が剥がれるね
いくら障害発生時の手順を整備したところで、日中帯にハードが壊れたら障害対応する間も無く
即システムが止まるから

>>57
お前がアホだって事はよくわかるよ

>>5
確かに。
自動でフォローが入ったりはしないんだろうか？
そのためのバックアップで二台あるのにわざわざ人が切り替えなきゃいけなかったら面倒じゃね？

>>61
なるほど
まあ、ソフト作ったヤツ＝プログラマくらいの意味で書いたわ
デザインていうのがアーキテクトくらいの意図で

Google はなんだかんだ自社でやってるから偉いよなあ

>>63
だから、（ちゃんと動けば）自動切り替えって、>>1に書いてあるだろうが。

ＴＳＳや富士通は、「事後報告」のレポート読んで、「ふーん、こんな理由で切り替わったのか。
まあこれなら大丈夫だろ」とか「えっ？とりあえず切り替わったけどこれマズいんじゃね？」
ってチェックする運用なんだよ。

東証の新システムってRAMディスクを使ってたよね、メモコンの欠陥は致命的な人為ミスじゃん。

さすが信頼の不治痛

>>60
あり得ないなｗｗｗｗｗｗｗｗｗｗｗ

メモリと言ってるが主記憶じゃなくて高速なストレージ代わりじゃないのか
なんかちょっと前に流行ってたよな
色んな所でshmat使ってアクセサとメンテナンスツールを再発明してんの

（ﾟε゜;）日本ブランドの信頼性が低下しまくりだなあ

東証のシステムは、原発とともに国家ビジネスとしてアジアに売り込み中だったのに

富士通のせいにされてるけど、富士通サポートの言葉を鵜呑みにして
システムの動作確認をしなかった凍傷(東証SS)が悪い
ログだけ見て正常判定するなんて馬鹿すぎる
富士通とどういう保守契約なのかしらんが、最終的な業務確認できるのは凍傷だけだろ

>>60がなんか変なことかいてるなと思ったら記事そのままだったｗ
普通大丈夫かどうかって本人じゃなく周りが判断することだろｗ

まあなんとかが悪いとか言い出したら、今サーバがヤバいとしっかりわかりやすく示せるように
作ってなかったであろう診断ツールからレポートただ流すだけの各人員に至るまで全部悪いでしょ。

>　富士通のSEは診断レポートの内容を見て、残り2台のサーバー（ノードB、ノードC）が正常に
>　稼働していると判断し、TSSに切り替え処理が成功しているとの見解を伝えた。

東証が保守費ケチってるのか、富士通が怠慢なのかは知らんが、せめて富士通は、
システムの重要度を考えて、ＳＥ２名以上による診断レポートのダブルチェックぐらい
すればいいのに

システム設計が悪い＞運用が悪い　でＯＫ？

TSSの担当者は何も知らないマニュアル通りに動くしかない時給１５００円の夜勤の仮眠中の監視バイトで、
富士通のSEは自宅のベッドの中で寝ぼけながらメール見て携帯で対応って絵が思い浮かんだ。

大企業のSEなんてメールを右から左へ流すだけの
いい加減な奴が多いよ

>>1
素直に運用していれば影響を回避できたとはいえ、想定していた故障の範囲を超えたんだから、
開発の責任をうやむやにされないように見張ってないとな。

>>75
いや、運用設計・運用プロセス・運用者が悪い

ちゃんと切り替わらなかったのは、システム設計のチョンボ

でも、そのために東証システムサービスと富士通による事後確認と、
必要に応じて「ノードAを完全に殺して切り替える」等の障害対応手順がある

切り替え失敗を誤認したうえに、経営陣にも報告せず朝まで放置し、
市場に影響を出したのは、完全に人間の人為ミス

富士通はメーカー対応しただけで、実際の保守業務はTSSだろうよ
もし富士通側が保守業務を委託されてたら常駐社員を出向させるはずだし。
使ってたサーバが富士通製なだけで、その運用はTSSと考えるのが妥当で、
TSSの保守担当がログすら読めない馬鹿でメーカー問い合わせしたけど、結局よく分からないから放置したんだろｗ
だから東証側の役員が減俸になったんだろうな

富士通自身が診断結果を読み間違えたというのが、
ただの偶然とか個人的資質のせいなのか、記述形式が読みにくいせいなのか、
そのへんも気になる。

>>75
今回のは基本的には運用の問題だな。
不具合が発生した時に適切な対処を行うのが運用の責務なんだから。

>>5
内的要因なら自動切換えでいいんだろうが、
外的要因だと、その外的要因を排除せずに自動切換えすると

>>41
日本以外じゃ金融証券システムなんて情報技術産業だろう
ソフト、ハードの専門技術者なんていて当然だと思うが

メモリーコントローラーの故障自体にも問題あるだろ？
システム業界の「ハードの故障は仕方ない」的な固定観念何なんだよ？

まぁ人為的ミスに結論付けて、
その人間を吊るし上げた方が、
みんなの溜飲を下げるのに効果はあるけどさ。

ttp://www.tssx.co.jp/portal/xxx.pl
> 指定された URL "" は、 このサーバー() には存在しません。
ttp://www.tssx.co.jp/portal/jcode.pl
> サーバー内で、実行中のプログラムが異常終了しました。

jcode.plを使っているらしい

ノードAが死なないと、ノードB、ノードCに処理代替しない。

これの認識を一番理解していないといけないTSSのシステム担当者が
知らなかったのが一番の問題っしょ。

問い合わせを受けた富士通の担当者も、
システムとして組まれたときにどういう動きをするかを確認せずに、
ハード個々としてしかチェックしてないのも問題だけどさ。

エラーコードの百科事典とか作っておけよｗ

もう診断レポートツールで出力された内容を解析して、大阪弁でもなんでもいいからTSS社員にもわかるようなレポート自体を解読するツールを作れよ

つか
切り替えが必要なシステムはノンストップ型とは言わないだろ

航空機で例えばわかるがエンジンが１台故障しても
残りのエンジンで飛行を続けられなければいけない

飛行中にエンジン切替えなんかするか

ふつう３重化というなら
トリプルのデュアル又は
デュアル＋１なんだけど

これはただのデュップレックス
情報２種のわしでも判るぞ

システムが安定稼働してると切り替えをする経験が不足するし、不安定だけど普通に待機・予備機に切り替わってたりすると油断するな。

待機系も作って、切り替えも自動にして、人とシステムで切り替えをチェックしないといかんな。
人についてはチェック表作って複数でチェック&確認作業しないといけないし、早く作業しないといけない。

出来れば仮想サーバーがいいな。 システム構築までは大変そうだけど。

これは運用の体制の問題だよな。
重要なシステムの場合は、無駄だと感じてもしっかりとした体制を組むべきだな。

>>92
そういうは訓練しておけばよい
地震訓練とか定期点検 大好き国民だからな


笑えないけど

>>42
何のために社内にシステム部門があるのか分からないなw
ガキの使いかよ

富士通⇔TSS⇔東証社員　ってなってるけど、TSSは左右に情報流してるだけでまるで役に立ってないな
これTSSがメインで対応すべき案件だろ。診断レポート送って、意見聞くだけとか、TSSは学生アルバイトなのか？
せめてレポートと実機の状態見て、問題絞り込んで問合せしないと駄目だろ
現場対応のTSSが、実機の稼動状況すら判断できてないとかやばすぎるぞｗｗｗ

動くか動かないかなんて、夜中の２時に実際に売買して、取引が成立するのを見届けるだけだろ。なんでやらなかったんだ？

まさか、動作確認用のデータさえも入ってないのか？

いきなり実機でテストするのは危険が大きすぎる

まず訓練計画をしっかり立てて
最初はシナリオ通りの机上訓練でよいから メンバーを慣らして
実機のテストに入らないと いろいろ不味いことが起きる
想定外だからなんてゆるされんわな

とにかく上から下までまだ謎だらけで、今の段階での処分で手打ちなんてありえない。

引責辞任していれば東証の信頼回復の絶好のチャンスだったのに、
ただの減給処分か？

日本経済の停滞の真の理由は、こういう老害連中のせいだろ。
日本経済の回復のためにも、財界の老害連中は早く引退しろ！！！

アプリケーション層レベルでの監視してなかったのかね
せいぜいtcp or ip レベルでの監視だったとか
うるさいお客さんなら応答文字列までみて
監視させる

まさか東証がやってなかったとかはないと思うが

富士通の名刺持った中国人の下請け社員でしょ？
多分レポートの日本語が難しすぎて理解出来なかったんだよ
偽装請負美味しいもんね！
きっと富士通の名刺持った中国人のSEだったんだよ

もう富士通は日本から出て行ってください。

富士通糞すぎ

TSSなんていう会社がいらないんじゃね？
日本の大企業はシステム子会社作りたがるけど、リストラ目的としか思えない

>>105
それは東電いらないんじゃね？と言ってるのと一緒
東芝が電力設備管理すりゃいいけど
そうもいかない
管理者だけおいてあとは富士通の名刺持った下請けの中国人でも置いておけばいい
時間とコストの無駄だが
東証みたいな会社は公務員体質だから何言っても無理だろ
書類と判子と無駄な会議を何度も繰り返して決済は２年後上等

>>106
東電が何の関係あるのかわからんw

自社システムなんてシステム部門作って、そこで要件定義〜運用しろってこと
会社を階層化すると、使命感が薄まる上に事務処理が大変になる
人為ミスも必然だよ

東証、大証ってかなり性格が違うな
大証には過去のデータなんかがわりかし掲載されてたのに対し、東証は昔からそういったサービスがほとんどなかった
情報隠ぺい体質というか、お役所というか、下々に情報を公開させることはないといった態度
データ等を掲載する気があるかどうか尋ねたら、大証と同じ程度のデータであれば５０万〜４００万出せば提供しますって平気で答えやがった
片や無料で公開、片や大金出した人にだけ情報公開
これが東証のすべてを物語ってる

悲しいかな、これも日本人の劣化の証

このくらいのシステム自動でやれよｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗ

だから処理が遅いって言われるんだよｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗ

>>110
役所体質だからそんなこと絶対に無理
鯖ダウン→TSSが確認平から役員まで確認作業が延々と続く→富士通に電話
富士通出勤→鯖確認→修正する→TSSに報告する
TSS確認(平から役員まで延々と確認作業)
TSSで延々と社内会議をするが何を会議すればいいのかわからず社内会議の内容を
決める会議を延々と続ける
２週間たちようやく決まった内容が東証と富士通で現場のミスという手打ちということになる
自動処理なんかでやったら
誰がやっていいと決めた　もし何かあったら誰が責任取るんだと社内で大騒ぎになるから

大証も東証に飲み込まれてクソになるのか、、、、

東証が富士通の責任を不問にしたんだからもう富士通を責める資格ないだろ
富士通に限らずやたらベンダーのせいにしたがる人が多いけど、ニュー速＋ならともかく
ビジネス＋でこの有様は情けない

>>113
税金と官需にどっぷり浸かってる企業はどこまでも擁護して貰ってうらやましいのう

>>92
重要なシステムの運用だと、
わざと障害起こして、復旧するような訓練させられるよ。

＞だが実際には、ノードBとノードCが処理を継続するには、「ノードAが処理不能だと表明し、
＞“バトン”を渡す必要がある」（田倉氏）。診断レポートには、ノードAがバトンを渡していない

あー、こういう死にかたってすごく迷惑だよねえ。

死に体なのに「まだだ、まだ多くの応援を頂いている！」ってゾンビ化する総理大臣sとか。

レポートみたんで、気ぃきかしてやっておきましたーってのも
それはそれで問題やろ？ おい。この請求書はなんやーてなもんw
おとぼけやねえ

＞その後、TSSの担当者は富士通のSEに対し、電話と電子メールで診断レポートの内容を報告。

何この伝言ゲーム・・常駐してないのかよ
東証が悪い

>>118
TSSの名刺持たせて富士通の下請けの中国人が常駐すればいいだけなんだが
東証が許さないんだろう

僕の肛門の解読も失敗したようです。

診断ツールで云々とは言うけど、
「正常な状態に復帰できなかった」なら警報とか出してくれればいいのに。

>>121
富士通のシステムがクソなんだよ
診断レポートに「ノードAがバトンを渡していないことが記載されていた」のだったら、
何故それを障害発報しなかったのか？
これは運用の問題じゃない
不治痛のシステムがクソなのは確実

>>41
> これからはベンダーを超えるスキルを身に着けて自分自身で報告内容をすべて確認検証しろっていうのか

当然だろ。
東証が、自社は情報産業だという自覚が無いことの方が驚異だよ。

富士通やSun のクラスターってベリタスかなあ？
みんな知らないのけ？

>>122
ベルタす だったら糞かもしれんが
あれも実績はあるだろお、信じるやつが馬鹿をみる

なぜ診断レポート診断ツールを作らなかったのか

>97
架空の取引を成立させるのはいいんだっけか？

金融庁が何か言ってくんじゃねーの？

なんとも言えないね

クラスター関係の国産ソフトウェアは、日立製作所と日本電気の共同で書かれた
のもあるはずだしな

>診断レポートには「ノードAは死にかけているが、ノードB、ノードCは正常に稼働している」旨の記載があったという。

「死にかけている」なんて本当にレポートに書くのかね?

http://www.tse.or.jp/news/03/120216_a.html

原因が人為的なものだった、というより、
自分たちには人為的な部分しか改善できません、
という感じにとれた。

大敗東証

>>97 >>127
そう簡単に本番環境のDB汚せない。
あと今回問題が起きたのは相場情報配信系ね。
注文を受け付けて付け合わせるマッチングエンジンは正常稼働してた。
取引は出来るが板の情報が配信出来ないことが問題だった。

>>123
中身の無いベンダー批判が横行して、ユーザー系システム企業の無能ぶりが
覆い隠される風潮がシステムトラブルがやまない元凶なのかもしれないな。
ユーザー系は存在価値そのものが疑われるよ。

ってか、取引所システムなんて、ＮＹＳＥなんかの海外の取引所のパッケージ導入したほうがいいだろ。
はっきり言うが、日本はソフトウェア技術で世界に対等出来るレベルになったことは一度も無い。
大金使って国産検索エンジンを作ろうとしても普通に頓挫するレベル。
世界レベルで使われてる日本製のソフトなんてない。
後進国は後進国らしく優秀な海外パッケージ使ったほうがいい。
反論出来るなら反論してみて。

そのパッケージにスパイウェアが仕込まれてたら？

こんだけシステム落ちたら、世界の投資家は東京は終わったと思うだろ。
そしたらシンガポールや香港や上海に目がいく。
ソフトウェア後進国の国産の技術に拘ってアジア一の金融都市の立場失うのは馬鹿すぎる。
取引所システムにスパイウェア埋め込む理由って何？意味分かんないけど。

俺はパナソニックのカーナビ使ってるがルート検索エンジンが馬鹿過ぎる。
検索のアルゴリズムってほんとセンスだからね。
土建屋構造の日本のSI業界のサラリーマンSE（文系の奴隷）には世界標準レベルの検索エンジンや取引所システムの設計なんて無理だよね。
設計が馬鹿なシステムだから運用が複雑で見落とす原因になるんだよ。
今回は運用より設計こそが徹底的に叩かれるべきだと思う。

>>136
国内投資家の取引履歴が、海外ＳＩ企業の背後にいる
外国政府に筒抜けだとしたらどうしますか、という事。

仕事の引継ぎとかちゃんとできていなかったんだろうな

>>134
判断する人間に不良があったら意味内

>>138
海外パッケージだとスパイウェア心配して、富士通だと心配しない根拠は？w'

本来は優秀な人材が必要なのに、
データセンターではセキュリティ云々のために不快な思いをさせられ、
優秀な人材も何でこんな仕事をしているんだと辞めてしまいます。
必死に働いても何もない状態が素晴らしいのに評価されず、
何かあった場合にはマイナスに評価されるだけです。
元請やエンドユーザにはパートナー扱いされ将来もない悲しさ。

システムは複雑に成り過ぎているので全てがわかるのは無理です。
優秀な人材でもシステムの一部の担当部分しか分かりません。

>>142
お金けちるとこーなるよね

>>137
そもそもパナって時点で…

十分な金額を支払う余裕はありませんしね。
ただ、せめて、下請への扱いを良くしてもらいたいです。
マシン室で何々をしたら不正とみなすと書かれるから働きたくありません。
せめて何々をしたら不正と疑われる可能性がありますぐらいにしてほしい。

こんな重要な経済の中枢みたいなところまで多重派遣だろうしな。
そんな重要な箇所なら雇ってやれよ。金がないわけでもないのに。

>>147
優秀な人材がいてもこんな仕事をするのは嫌だと辞めてしまいます。
異常な高給にすれば人は集まるでしょうが利益が全く出なくなります。

>>148
別に年収1000万以下でも東証みたいな安定度Aの会社の正社員になれるなら優秀な人は集まるだろ。

TSSってTime Sharing Serviceで30年前にタイムスリップかと思った
F社さんは誰も責任なしでしょうか

>>142
いや、運用なんてそんなレベルの人間でいいんだよ。
夜勤のシステム管理なんて、IT専門学校出たくらいの20代のやつがやるような仕事でいいんだよ。
東大の院出て夜勤のシステム管理者やらねーよ。
そういうやつでもきちんと管理出来る設計が美しい設計なんだよ。
ホンダのカブはいかに修理し易いか、部品交換し易いか、メンテする人間のことを考えて設計されてる。
そういうこと。

>>149
社会人やってみると、システム運用ができる人がユーザー企業にいないってよく分かるよ？

>>151
カブが自作PCに相当するとすると、今回のは飛行機とかそういうのね

ってかエラーレポート見て富士通の人に確認するだけのこのＴＳＳの仕事に知識必要か？
俺が経営者で担当者が優秀な奴雇いたいから予算多めにくれって言ったら怒って却下する。

ナニコレ
日本の経済システムで一番重要なんだからハードもソフトも完全三重に常時走らせて当たり前でしょ
システム切り替えるならただのバックアップじゃん
何で壊れたシステムに干渉されるような仕組みにしてんの?
三重に個別に走らせてたら中継なり末端側なりで選ばせればすむでしょ

完全に設計が悪い

糞冗長化ｗ

>>155
俺もそう思うよ。
板情報作るサーバーなら３台で作っておいて、下の中継サーバーで切り替えればいいと思う。
設計が糞なのは間違いない。

35歳定年とかやってりゃこうなる。
どんどん複雑化してるんだから全部把握して仕事するのに若さだけじゃ無理よ。

責任追求するなら、末端のせいにするより、こんな設計を承認した東証の責任者とこんな設計しか出来ない富士通を選んだ東証の責任者を徹底的に追求するべきだろ。
どっちも鈴木CIOなんだけどさ。

「どこが一番悪い」という問いが無意味になるほど色々おかしい。

インフラやＨＰＣは良く分らんので誰かおしえれ。

障害発生時には「ヘルスチェックで発見→フェイルオーバープロセス始動」となる
と思うが、今回の障害ではヘルスチェックが有効に機能しなかったってこと？
そもそもそうならないように各種製品（ベリタスとか）あると思うんだが、チェック方法
（これはシステム毎に異なる。その結果をベリタスとかに伝える。）がバカだったと
いうこと？

>>159
絶対落ちないシステムを作れ！ってことで東証と富士通でタッグを組んだって
さんざん宣伝しまくってたねｗ

まさか不具合出したシステムも落ちないようにするとは・・・

>>162
上手い！
落ちないシステムを作ったのでフェイルオーバーしませんでしたw

>>155
>>157
待機状態は別として、その切り替えがうまくいかなかったというお話ｗ

>>161
アローヘッドは富士通のプライムクエストってサーバー使ってる。
このサーバーの冗長構成にはプライムクラスタっていう富士通のソフトが使われる。
そこらへんの動作の問題じゃね？
これは俺が今まで新聞や日経コンピュータや富士通のサイトから得た情報ね。

>>105
違う。天下り目的

>164
ん?三つ常時稼働してるなら切り替える必要あるのはアウトの表示システムだけだろ
インは三つともだから１つ壊れようが関係ない
表示切り替えるくらいの単純システム壊れるんなら手動で回線抜き差ししろww

一括システムで管理してるからこうなったんだ
どうして切っておかないかなあ
取引処理と表示処理が完全別になってないからこうなったじゃない

切り替えがうまくいかないとかはよくある話だな・・・。
自分も気をつけねば

>>165
クラスタリングソフトそのものの問題なのか？俺が>>161で言ったのは、クラスタリングソフト
そのものじゃなく、異常検出プロセス（これはシステム毎に異なる）がイカレてたんじゃないか
と疑ったということなんだが。

絶対に落ちないシステム=三重化ってのが短絡的な設計だよねw
もう四重化しろよw

>>169
ハードの異常、切替状況等の管理ソフトはクラスタソフトのパッケージに含まれてるでしょ。
もっと上位層の取引システムは７時くらいにならないとプロセスが走らないから、ソフトの動作の異常検出はその後になるはず。

>>171
そうか。今回はハード（に近い層）のエラーで、本来クラスタリングソフトの守備範囲。
にもかかわらずそれを検出できなかったので悪いのはクラスタリングソフトだ、と
いうこと？

>>171
まあそうなんだけど、乗っかってるソフトウェアレベルでの冗長化は全くされてないみたいだから、そもそもの設計が悪いだろってのが流れ。
同時に同じプロセス走らせて下のプロセスで選べるホットバックアップ的な設計になんでしないかなって。
サーバーを三重化してるから絶対に死なない、対策は必要ないって考えかもね。

>>141
日本国民の金融資産を外資に食い物にされるよりはマシでしょう

富士通のSEが作成した障害マニュアルに無い想定外の障害だったんだろうな・・・。

他の先進国の取引所もとまりまくってるぞ

このスレって勉強になるな、ハードってメーカーのいいなりにいれてるケースが多いから、障害ポイントの参考になる。

これが不沈船 タイタニックだったら
映画化されてヒロインが人気者になるのに


ＡＫＢなみに４８人待機させとけ

>>178
待機ルームに詰めている間は給料が出ないんですね。
分かります。

>>1
「ＴＳＳには責任ないよ」って言いたげな記事だな。
そうやって責任をたらいまわしにしてきたツケだろ。

富士通以外にバックアップ作らせないのが元凶
バカを何重にも設置すれば信頼性が落ちるだけ

>TSSの担当者は富士通のSEに対し、･･･報告。
>富士通のSEは診断レポートの内容を見て、･･･成功しているとの見解を伝えた。
>TSSはその見解を東証の職員に伝え、
>東証は･･･判断した。

結論：TSSは不要

こんな時、会社上層部の偉い人はシステム関係者を呼び付けて何をやってるんだ！
怠慢にもほどが有る！などと怒鳴りつけて終わり。システムを全く理解して居ないから
それしかできないんだよ。しかりつけられたシステム部門幹部はひたすら謝るだけ。
これじゃまた同じような事故が起こるだけ。

コーディングを理解せよとは言わないけれど、システムという物のせめて
全体像を理解しないとちゃんとしたトップマネージメントなんて出来ないと思う。

クラスタかな？怖いねぇ・・・

>>8が全てでしたｗ

きっと英語が読めなかっただけ

>>183
TSSに診断レポートのわかる人間を入れるか、富士通のSEを常駐させるか
簡単なことなんだろうけどそこをケチったらまた同じ事を繰り返す

中国でもこんなトラブルないよ。
あったらクビにして有能な奴に連れてくるし。

富士通ってトラブルばっかりなのになんで採用されるの？
リベートか天下りなんだろうな。

というかこんな事をメールで送って
人間に判断させている時点で、システムの設計ミスなような。

プライムクラスタなんてあるのか
国産業務ソフトウェアで世界に通用するのはは日立JP1くらいだと思ってたが、
日本もまだまだ捨てたモンじゃないな

日本は９割文系だから、原発も電子商取引も破綻する。

専門家以前に論理的に考えられる人が圧倒的に少ない。

なんで富士通以外に発注しないんだ？
富士通にした時点で東証の責任だろ。

これを担当者の責任にして、こいつが悪かったってするのが完全な馬鹿のやり方。
人間に依存させないで自動化するのがAmazon、Googleのやり方。

百歩譲って富士通に優れてる分野があったとしてもさ
富士通に発注したら、サーバーはもちろん、ルーター、クラスタリングソフトとかの富士通の製品が業界のスタンダードになってないものまで富士通製使わされる。
SIのくせに業界で一番信頼性が高いものを使わせないとこに発注したらどうなるか分かるだろ東証も。

>>172
YES

プライムクラスタ？ってクラスタソフトの機能が貧弱なんだろうな。
良い製品なら死にかけのノードは強制ダウンかダウン扱いにして
強制テイクオーバーや縮退運転するなどの機能がある。
Aノードに何らかの不良があるのを検知しながら何も出来ないってのは、
正直、クラスタソフトとしては無意味に近い。

まぁむかしから富士通はクラスタや無停止システム組むノウハウ弱そうだけどな。

業界で一番信頼率の高いノンストップサーバーってＨＰ？

タンデム社が有名
ＯＳやＣＰＵレベルで独自の工夫が必要で
開発には長い年月がかかる

タンデムってコンパックに買収されて、コンパックがＨＰに買収されたからＨＰ正解でしょ。

タンデム　＞　コンパックヒマラヤ　＞　ＨＰノンストップサーバー

ってのが名前の変遷だから

このスレ勉強になる

このレベルのエラーが出たらSE含めて経営陣に直にメールが飛ぶようにしておくだけで良いんじゃないか。

そもそも富士通ＳＥは、体力があるだけの脳筋だからな。。
文章が読めなかったとしても不思議ではない。

便乗。
NECのFTサーバってどうなん？

>>200
「問題なく片付くんだったら最初からメールなぞよこすな！（怒）」とか。

>>200
そこがバグるんだよ。
閾値低めにして自動再起動したほうがマシ。

バトンを渡すってのは死にかけのAサーバが自分で判断して処理するん？
それとも監視用の別システム？
どうでもいいけどそれだけ気になった。
普通に考えたら後者だとおもうが

>>204
混在ってのもあるぞ。
一部インタフェース故障のときはアクティブ側でフェールオーバ信号を出すけど、本体ごと死んだ場合はスタンバイ側で死亡確認して動き出すとか。

メールで助けを求めるのか

どこかのＩＴ土型みたいだ
働き過ぎじゃないのか

クラスタのソフトってやっぱどこメーカーのが良くてどこのが悪いとかあるの？

クラスタは、それぞれクセがあるよ

PRIMECLUSTERは使いやすかったよ〜

クラスタが立ち上がらなくなった事が何回もあるけど・・・

こういうのって目視で切り替えるの？
ありえなくね？

>>208
それってまんま今回の事象じゃん。
完全に死ななかったから？

俺も興味ある

大敗東証