【証券/コラム】またやりましたね、東証システム障害　前回の教訓が生かされず［08/02/19］

[1/3]
「派生売買システムの障害により、投資家の方々をはじめ、多くの市場関係者の皆様に
御迷惑をお掛けしましたことを改めて深くお詫び申し上げます」。また東京証券取引所の
システムにトラブルが発生した。２月８日の午前11時に派生商品システムに障害が起き、
一部売買が停止した。東証株価指数（ＴＯＰＩＸ）先物３月限月の午前の終値が付かない
状態になり、午後の取引が停止となった。

■“トウキョー・ストップ・エクスチェンジ”
障害が発生したのは今年１月15日に稼働したばかりの新しいシステムで、先物やオプション
など金融派生商品（デリバティブ）の取引のためのもの。買い注文の表示とデータベースの
内容が一致せず前場終値が算出できないという問題が発生した。このシステムの開発は
富士通が担当した。

渡辺喜美金融担当相は、12日の閣議後、東証に今回のトラブルの原因分析などの報告を
求め、「（証券取引所を表すストック・エクスチェンジではなく）“トウキョー・ストップ
・エクスチェンジ”と言われぬようお願いしたい」と語ったそうだ。

■新ＣＩＯを迎えるも・・・
東証では05年11月から06年1月にかけても３回の大きなシステムトラブルがあった。特に
05年12月のみずほ証券からの注文データの取り消しができなかったことによるトラブルでは、
みずほ証券が総額400億円以上の損害を出すという事件になっている。この反省から、
ＮＴＴデータから新たにＣＩＯを迎え、09年にサービスを開始する新システムの開発に
当たっていた。その最中のトラブル発生である。

今回のトラブルの原因としては、東証の発表によると「板に注文を登録する場合における
特定のレアなケースにおいて、ワークエリアの初期化処理がなされていないケースがあった」
ということだ。しかし、レアなケースだから「ワークエリア」の初期化処理がされないと
いうことはおかしい。ワーキング用に確保したエリアは初期化するのは普通だからだ。
レアか否かの問題ではない。

（１）富士通のプログラムのコーディング（プログラムのソースコードを記述すること）規約
がきちんとしていないか、下請けを多用しているため徹底されていないのではないのか。
このような、どちらかといえばプログラム単体レベルでテストすべきことが抜けているのは、
（２）単体テストデータ作成基準が明確ではなかったことも想定される。

更に、（３）東証がシステムテスト・運用テスト段階で設定するテストケースにも問題がある
ことを示唆している。この（１）？（３）と同様なことは05年12月の注文データの取り消しが
できないトラブルの場合にも見られた。つまり前回の教訓が生きていないわけだ。

続きます。ソースは
http://it.nikkei.co.jp/business/news/index.aspx?n=MMIT0z000019022008

-続きです-
[2/3]
■前回と同様の原因でトラブル
（１）と（２）の事象に関して前回は次のようなものだった。

注文データの取り消しができないトラブルの場合、「逆転気配」という状態になる契機と
なった注文データが一部約定されているとき、その対象注文に取消注文が出された場合、
取消処理できるロジックとなっていなかったことが問題だった。

富士通は、一部約定対象注文であることを判定するために、「注文ＤＢの会員番号及び
受付番号」と「銘柄別板ＤＢの会員番号及び受付番号」とが同一であるか否かによって
確認するというロジックを作った。ところが、あるプログラムモジュール（部品）において、
銘柄別板データベースの一部約定対象情報が、逆転気配の付け合わせが終了する際に
「クリア」される仕組みとなっていたため、バグとなったのである。

説明はややこしいかもしれないが、つまりは重要なデータベースのメモリー上のデータを、
ワーキングエリアも設けずに直接クリアしてしまったため、後のトランザクションは必要な
データを参照できなくなったことから問題が起きたのである。エリアのクリアに関する
コーディング規約が守られていたなら（規約があればだが）起きないもしくは
単体テスト段階で容易に検出できていたものだ。

（３）のワーキングエリアについても、次のような事象があった。

注文データの取り消しができないトラブルを起こした売買システムの開発時、00年2月の
運用テストで「逆転気配によって全数約定済となる注文に対して取消注文が出されたところ
処理が停止した」という不良事象が検出された。この不具合を修正するのはもちろんである
が、この事象と業務上関連する事象、つまり「逆転気配の契機となる注文が一部約定済となり、
みなし処理された後に取消注文が出される事象」などについても、業務上容易に予想できた
のであるから、そのような事象をテストケースとするテストを当然に行うべきであったが、
東証はそれを怠っていた。テストされていれば当然注文データの取り消しができない
トラブルは起きなかったのだ。

今回のトラブルにおいては、このような関連事象を含むきちんとしたシステムテスト・
運用テストが行われていたのかどうか？前例があるだけに、疑問を持たれても致し方ないで
あろう。

-続きます-

-続きです-
[3/3]
■「レアケース」では納得できない問題
大規模な情報システムから不具合を完全に除去するのは困難だ。しかし、少しでも信頼性の
高いシステムを構築するためには、様々なルールやガイドラインに沿って開発が行われるべき
だ。前回、富士通はエリアのクリアといった単純だが重大なミスでトラブルを発生させている
からには、同じようなケースを防止する努力がなされてしかるべきであった。

また東証も、レアケースこそトラブル発生の可能性が高いのであるから、レアケースを含めた
テストデータによるテストが当然である。「オンラインコントロール・ミドルウェア」の
タイミングエラーとか、データベースのマネジメントシステムのバグなどの複雑なものでは
ないのだから、「特定のレアなケース」という報告のみでは説得力がないことを認識すべきだ。

-筆者紹介-
有賀　貞一(あるが　ていいち)　ＣＳＫホールディングス取締役
1970年一橋大経卒、野村電子計算センター入社。90年野村総合研究所取締役、94年常務。
流通、製造、金融、公共などのＩＴサービス事業に従事。海外におけるシステム開発や
コンピューターセンター構築等も経験。97年ＣＳＫ専務取締役金融システム事業本部長。
00年に代表取締役副社長、05年より現職。情報サービス産業協会（ＪＩＳＡ）副会長

-以上です-
関連スレはどちらもdat落ちしていますが、
【証券】TOPIX先物08年3月限の売買を終日停止、障害の復旧見込みたたず=東証［08/02/08］
http://news24.2ch.net/test/read.cgi/bizplus/1202444565/
【証券】東証、売買システム復旧　原因はプログラムの欠陥［08/02/12］
http://news24.2ch.net/test/read.cgi/bizplus/1202780847/

官僚もとてもよく愛用してますがなにか？

「再発防止に努めます」

> 富士通のプログラムのコーディング規約がきちんとしていないか、下請けを多用しているため徹底されていないのではないのか。

一発で結論が出ました！

業者をきちんと選定できない評価できない東証の古い体質のせい

富士通って言えば、無駄に詳細なチェックシート作らされるほど厳しいと思ってたんだが、それもハードの世界だけだったのかな。
ソフトはダメダメだね。

↓フリーザのＡＡ

>>5
東証とFの質が低すぎる。下請け云々ではなく、技術者軽視のつけだよ

ライブドアと子会社のターボLinuxとでやれば良い

>>7
記事ではDBが問題の渦中だとおもわれるけど、富士通は自前のDBあったのかな？たしかそもそも無いような

>>7
ソフトで詳細なチェックシートを作っていたら、ハードの数千倍の量になる。

　　　 　,;i|||||||||||||||||||||||||||||||ii;､　　　　　　　　　＿／
　　　　　／||||||||||||||||||||||||||||||||||||||ii;､　　　　　 　　＼
　　／￣￣＼||||||||||||||||||||||||||||||||||||ii;ﾞヽ,　　　　　　／
'"￣ヽ　　　　　ヽ!!||||||||||||||||　　||||||||||!!"ﾍ　　　　 ＜　　ロマンティックageるよ
ヽ　　　　　　　　　 ﾞ!!!||||||||||||　　|||||||!!　　 iヽ──　/
|||ｌ　　　　　　　　　 　　ﾞﾞヽ､ｌｌ,,‐''''""　　　　 | ヽ|||||||||ロマンティックageるよ
|||ｌ　　　　　＿＿＿＿　　　ﾞｌ　　　＿＿　　　＼|||||||||　　
||!'　　　 ／ヽ､　　　　 oﾞ＞┴＜"o　　 /＼　　 |'"￣| ホントの勇気　見せてくれたら
＼　　／　　|ミﾐヽ──‐'"ﾉ≡- ﾞ'──''彡| |､　|　　 |
　 ￣|　　　　|ミミミ／"￣ ､,,／|ｌ￣"'''ヽ彡|| |､/　　 /　ロマンティックageるよ
　ヽ､ｌ|　　　　|ミミミ|　 |､────ﾌヽ |彡ｌ| |/　　／＿
　 ＼/|ｌ　　　 |ミミミ|　＼_/￣￣ﾌ_/　 |彡|ｌ/　　　￣／ ロマンティックageるよ
　　＼　ﾉ　　 ｌ|ミミミ|　　＼二二､_/　 |彡|　　　　　　ﾌ　　
　　　￣＼　　ｌ|ミミミ|　　　￣￣￣　　|ﾒ/　　　　　　 ＼トキメク胸に　キラキラ光った
　　　　|　＼　ヽ＼ミヽ　　　￣￣"'　　|/　　　　　　　　/
　　　 /　　＼ヽ､ヽﾞ''''ヽ､＿＿＿＿_／/　　　　　　　／＿夢をageるよ
　　／　　ヽ　ﾞヽ─､──────'/|　　　　　　　　￣／
. ／　　　　　　　ﾞ＼　＼　　　　 /　/ ＼＿＿
　　　───'''"￣￣￣ﾞﾞヽ､__,,/,-'''"￣　　　ﾞ''─

そんなに大変なシステムとも思えないんだがね。
なんで開発でコケてんの？

たぶん納期とカネの問題だろうな

被害を受けた客っているの？

>>1
> しかし、レアなケースだから「ワークエリア」の初期化処理がされないと
> いうことはおかしい。ワーキング用に確保したエリアは初期化するのは普通だからだ。
> レアか否かの問題ではない。

だよなあ。
タイミングが使う前か後かは知らないけど、
ワークエリア使うこと自体が初期化とセットなんだから。
レアケースである事と初期化抜けのロジックがつながってない。

富士通のシステムでこけて、NTTデータのCIO呼ぶってどうよ。
韓国製の部品が壊れたから中国製を取り寄せたってのが、個人的感想だが。

いや相場を社会保険庁にするつもりかもしれない

友達も、デカい病院勤務で、こんど会計や入院管理とかの
システムをNからFに変えるそうだが、運用前から担当者が
約束破りまくりで説明に来ないとかで、すげーキレてたな。
Fは糞と認定完了。

ＣＳＫってマーケットウォーカーとか開発したところか

もうすぐ2月29日なわけだが、大丈夫ですか？

団塊の退職で技術力が落ちてるんじゃね？

コーディング規約じゃバグは防げないね

>>18
FもNもどっちも元受しかできないってイメージ

プライムシステムの亡霊か

>>23
そもそも初めから下請けに出すシステムなのでＦ自体の技術力は関係ない

池沼面の新人ＳＥが下請けいじめを覚えると堂々とした面構えになる。
ＤＱＮ社会とＩＴも土方と精神構造は同じ。

つまり、ＣＯＢＯＬ技術者がいないって事か？

>>17
そもそも、様々な処理手順が存在しているとしても「必ず」初期化作業を
せねばならない事案だったら、抽象クラスを定義してその中で初期化を
記述しておくべきだよな。
そういった基本的なコーディングをしてれば「ケースによっては」なんて
手順が発生するはずがないはずなのに・・・
何万ステップあるのかしらないけど、ごりごり書くだけ書いていくみたいな
古き悪しきエンジニア達が主導したんだろうな。

>>29
まさかｗｗCOBOLで新規案件取ってこれないでしょ。
ＣかＣ＋＋だとは思うんだけどねぇ・・・
不具合がメモリ領域だってんだからJavaではなさそうな・・・

俺はＦの仕事だけはしたくないなぁ
なんでもかんでも下請けのせいにするって話聞くし

＞ＮＴＴデータから新たにＣＩＯを迎え

役に立ってないじゃん

ＮＴＴデータから来たＣＩＯは当然引責辞任だよな
このために引き抜かれてきたわけなんだから
これが居座るようなら東証のシステムは今後も同じ事を何度も繰り返す

まあどこが受注したって
実際コーディングするのは派遣社員ですからｗｗｗｗｗｗｗｗｗ

>>1
【IT/コラム】魅力回復は道遠し？ITサービス業界、学生の人気が低迷　CSKホールディングス有賀貞一［08/01/22］
http://news24.2ch.net/test/read.cgi/bizplus/1200981954/

>>34
データがＣＩＯを送り込んだのは、自分が火中の栗を拾わないためだな。

お金はいいけど、(テスト)仕様検討のスケジュールに十分な時間がない限り、
この系統のシステムはやりたくないなぁ…

価値も作業時間も、設計or考案＞コーディング「作業」なんだけども…

へーこきましたねあなた〜♪

NTTデータからのCIO候補が東証側のキューに15人ぐらい溜まってると見た

>>32
下請けに責任転嫁しない会社なんてあるの？

しっかりしてよね

【今株】千年の杜の株価が無敵モードへ突入 祭り乗り遅れ組みさえ楽々儲かる伝説株へ ★３
http://namidame.2ch.net/test/read.cgi/news/1203403368/

危機管理能力欠如のうえ、緊張感も全然ない。
なんというすばらしい国に俺は生まれたんだ！！

ＦのＳＥって技術分かってないから、顧客のリクエストには１０分の２くらいしか応えられない。

これが日本の大手の一角を占める会社のレベルかと思うと絶望的になる。

Ｆ社は、会社の業績悪いのを「社員が働かないからだ」と言い放つ社長がいるようじゃ、
優秀な人間など入ってこんだろー。他の大手メーカーと内定取れて天秤かけられた
時に、Ｆ社はえらばん。普通の人間の心理ならば。

こんな事があってもＦの受注は減らないんだよな
客がバーターでシステムの発注先を決めてるうちはレベルの低いベンダーは淘汰されないと思うな

つかF、N、H全部レベル低いんで、どこ選んでもダメなのよ。

N,H,Fしか選択肢が無いのは、そこしか対象と思っていない人が悪いと思う。
売上規模のでかいところと付き合いたいと思うとハード屋さんが一括受注に
なるけど、ソフトだけ考えたら、良い会社はほかになんぼでもある。
ハード屋がソフトまで提供するのって意味ないんだよね。結局ダンピングの
温床になり、どこかで手抜きが発生するだけ。

あと、Fの営業は最低最悪。役所相手の仕事ばかりだからかトラブル対応の
意味を勘違いしている。「お前の仕事は、客のトラブルを技術に伝えること
だろ！」と１００回言っても、問題を起こした形を残したくないらしく、
お酒の一席のお誘いで誤魔化そうとしやがる。こちらが飲食を要求している
と勘違いしているのか。埒があかなくて上のレベルに直接クレーム入れて、
出入り禁止にしてやった事がある。

ざまーみろと思っていたら、半年後に出入り禁止にしてやった営業は昇進し
ていたorz。社内の人材評価がどこか狂っているんだろうね。

複数単元の注文で、すでに一部が約定している場合はどうやって注文取り消すの？
元の注文取り消すだけで、未約定分だけ取り消してくれるのかな？

どういう責任を執るの？
東証は無責任集団？

たしかニューヨーク市場の100分の1以下の処理能力なんだよなw
インドや中国などの新興市場の処理能力にすら負けているとか。

オラクル以外で大規模DBまともに運用できるソフトってある？

富士通は問題よく起こすな。
今も下請けや派遣をこき使ってんのかね。

>>53
>オラクル以外で大規模DBまともに運用できるソフトってある？
DB2なら大丈夫じゃない？

>>53
MySQLでもPostgreSQLでも大規模DBとして使えるよ

問題はやっぱり人ｗ

>>56
MySQLとPostgreSQLは大規模DBを企業が試した事無いんじゃないか？

それとPostgreSQLはセカンダリーが無いから怖すぎ

>>48
世界の大手取引所でそんなクズベンダーのシステムを使ってるところは１つも無い。
世界の大手取引所で実績のあるベンダーを入れないのは東証に上場してないから。
東証に言わせればうちに上場しないのが悪いｗ

もうNY証券取引所と同じメーカーに作ってもらえよ。

大阪証券取引所と同じでいい

>>59
そこがロストしてNTTデータが受注したわけだが

ダウはいまだ電子取引じゃなくて人間がやってるはず

あ〜ぁ、悲しすぎるよ。昭和40年代だったら、東大卒レベルのエンジニアとかが、わんさか集まって、凄いヤツを作ってそうじゃん。orz

> 今回のトラブルの原因としては、東証の発表によると「板に注文を登録する場合における
> 特定のレアなケースにおいて、ワークエリアの初期化処理がなされていないケースがあった」
> ということだ。しかし、レアなケースだから「ワークエリア」の初期化処理がされないと
> いうことはおかしい。ワーキング用に確保したエリアは初期化するのは普通だからだ。
> レアか否かの問題ではない。

ここの日本語おかしくない？

「あるレアケースでの初期化漏れが故障原因でした。」
「レアケースだからって初期化しないのおかしくね？」
「（だからそこが原因だって言ってるじゃん…）」

あとコーディング規約違反というよりは
もっと上位の仕様バグのような気がしないでもない…

ITが駄目なら昔みたいに電話と手と紙で出来るから問題はない。

さすがCSK。現場を知らん受託側の論理だな。
社保庁と似た体質がそもそも問題なんだろが。

下請けじゃなかったら徹底できるというわけでもないだろ。
大人数がいながらテストできてないのはなぜか。
レガシーが多すぎる上、法対応と要求の複雑さが人智を超えかけているからだろ。
日本のSIerが未熟なのもあるが、はっきりいって国と東証が悪い。

前は西室はディトレがいるからお前らのせいで
パンクしたとか偉そうだったな

どーせ無茶苦茶に複雑な仕様を要求したんだろ。
いっぺん仕様書が実現可能なのか見直せ。

こういうのは仕方ねーんだよ
レアケースを全て洗い出そうなんてしたら
脳みそ爆発してしまうわ

もう
さすが東証としか言いようが無いな

東証はダウかナスダックの子会社になった方がいんじゃねえの？
あっちで使ってるシステムを、日本語化して使うのが一番よさそうだわｗ

>>69
これはレアケースの問題じゃねえよ。仕様がおかしい。

こんどやらかしたら富士通は潰れると
社長が言ってたから潰れるでしょ。

メモリ確保←ゴミ入ってた
メモリ初期化←ここ忘れた
メモリ使用
メモリ開放

よくあること。当然テストで見つけるけどね。

東証、富士通に責任はあるとして
CSKの現場知らないこの偉そうなおっさんとかがIT業界上層部からきえないかぎり
衰退していくんだろうな

>>75
業界のトップがあえて駄目業者を叱責するのは、
この業界の発展のためにも必要なことだろう。

藤川将太だけど、小手川ちょと屋上までこいや
http://mamono.2ch.net/test/read.cgi/livemarket1/1203929828/

証券会社ディーラーが　BNFに一騎打ちを申し込む（笑）

ヤクザマネーが席巻。　外資は日本に投資しないほうがいいですよ。　893に吸い取られるだけ。

【今株】千年の杜がｽﾄｯﾌﾟ安から界王拳使って一時ｽﾄｯﾌﾟ高 ｢デイトレやればアホでも儲かる｣と再加熱か★5
http://namidame.2ch.net/test/read.cgi/news/1203930940/

>>74
開放を忘れるのもよくあるな。

メモリ確保せずにメモリ使用はさすがに基本ソフトが管理するか？

なんかこのスレ見てると、大規模システムが単一のアキーテクチャで動いてる
と思ってる人が多いね。
普通は複数の汎用機（COBOLやPL/Iが意外と多い）、
大量のUNIXやWindows（C、JAVA、Webその他色々）
などのサブシステムの複合体でできてるんだよ。

>>80
ワークエリアの初期化忘れなんてのは、
どう見ても

単位時間の処理数が変わらないからねえ。
オンラインは、関係ないと思うよ。