【スパコン】「熱と故障を押さえ込む」、日立が東大の1万5000コア“国内最速”スパコンを公開 ［08/01/29］
1 ：やるっきゃ騎士φ ★：
日立製作所は東京大学から受注したPCクラスタ型のスーパーコンピュータを
本誌(日経コンピュータ)に公開した。08年3月までに製造を完了して納入。同年6月に
本格稼働する予定となっている。このスパコンは東大、筑波大、京都大の3大学で策定した
共通仕様で導入するもの。各大学の頭文字から「T2K」とも呼ばれる。
東大が導入するのは、日立のPCサーバー「HA8000？tc／RS425」。プロセサは米AMDの
クアッドコア型「Opteron」で、1個に4コアを内蔵している。PCサーバーの1ノード当たり
4個のOpteronを搭載しており、全952ノードで3808個、1万5232コアの構成となる。
理論性能値は最大140テラFLOPSで、稼働予定の08年6月時点で国内最高速となる見通しだ。
現在の国内トップは東京工業大学の「TSUBAME」で、56.4テラFLOPSである。
性能向上にともない、やはり難しくなってきたのが熱設計だ。
日立側の開発責任者であるエンタープライズサーバ事業部第一サーバ本部クラスタシステム部
の深川正一部長は「Opteronもクアッドコアとなって熱設計が難しくなった」と語る。
HA8000？tc／RS425は、周辺部品などもあわせると1ノード当たりの消費電力はおよそ
1キロ・ワット。「常にドライヤーを強で利用している」（深川部長）ほどの熱がサーバーの
内部で発生する。
そこでボード上のプロセサの配置を工夫した。4つのOpteronをマザーボード上に互い違いで
配置。プロセサを冷やすファンの風が、それぞれのプロセサとヒート・シンクに当たりやすく
した。ファンは4個×2列の計8個の部品で構成するが、1個が壊れても動作に問題がない設計と
している。このほかヒートシンクの素材は、熱伝導率が高く冷却効果を高められる銅を採用した
（一般的なサーバーではアルミニウムを利用する）。
2つめの難関が信頼性の確保だ。極めて大規模なPCクラスタ型では、故障率が高いと
メンテナンスに追われることとなる。そこで、「コンデンサーなどの部品は故障率がより低い
高品質なものを選んだ。そこまで必要かと言われるほどだった」（深川部長）という。故障の
“予兆”をキャッチする仕組みも充実させた。温度や電圧、ファンの回転数などを測定する
センサーを1ノード当たり約100個搭載した。これは一般的な複数プロセサのサーバーの
3倍程度だという。
最後の難関がクアッドコアOpteronの調達だった。3800個もの数が必要となる一方で、
メーカー側の製造歩留まりの悪さなどから大量に確保するのが難しい状況だったからだ。
そこで、深川部長はAMDの米本社に出向いて、必要な数の確保を直談判したという。
東大は歴史的に日立のスパコンを導入している。このため業界では「今回も日立で決まり
だろう」と言われていた。これに対して深川部長は「特に今回はコモディティの製品を
組み合わせたPCクラスタ型。外資も含めてすべてのベンダーが採用される可能性があった。
部品の発注も開札で最終決定となる12月25日までストップをかけていた」と明かす。
日立は1月上旬から、同社の豊川工場で生産に入っている。台湾などのベンダーから納入された
モジュールを組み立てて調整する。日立は「HA8000？tc／RS425」を東大に納入するほか、
まずは国内で販売していく。
画像はソースをご覧下さい。ソースは
http://itpro.nikkeibp.co.jp/article/NEWS/20080129/292363/
依頼を受けてたてました。
本誌(日経コンピュータ)に公開した。08年3月までに製造を完了して納入。同年6月に
本格稼働する予定となっている。このスパコンは東大、筑波大、京都大の3大学で策定した
共通仕様で導入するもの。各大学の頭文字から「T2K」とも呼ばれる。
東大が導入するのは、日立のPCサーバー「HA8000？tc／RS425」。プロセサは米AMDの
クアッドコア型「Opteron」で、1個に4コアを内蔵している。PCサーバーの1ノード当たり
4個のOpteronを搭載しており、全952ノードで3808個、1万5232コアの構成となる。
理論性能値は最大140テラFLOPSで、稼働予定の08年6月時点で国内最高速となる見通しだ。
現在の国内トップは東京工業大学の「TSUBAME」で、56.4テラFLOPSである。
性能向上にともない、やはり難しくなってきたのが熱設計だ。
日立側の開発責任者であるエンタープライズサーバ事業部第一サーバ本部クラスタシステム部
の深川正一部長は「Opteronもクアッドコアとなって熱設計が難しくなった」と語る。
HA8000？tc／RS425は、周辺部品などもあわせると1ノード当たりの消費電力はおよそ
1キロ・ワット。「常にドライヤーを強で利用している」（深川部長）ほどの熱がサーバーの
内部で発生する。
そこでボード上のプロセサの配置を工夫した。4つのOpteronをマザーボード上に互い違いで
配置。プロセサを冷やすファンの風が、それぞれのプロセサとヒート・シンクに当たりやすく
した。ファンは4個×2列の計8個の部品で構成するが、1個が壊れても動作に問題がない設計と
している。このほかヒートシンクの素材は、熱伝導率が高く冷却効果を高められる銅を採用した
（一般的なサーバーではアルミニウムを利用する）。
2つめの難関が信頼性の確保だ。極めて大規模なPCクラスタ型では、故障率が高いと
メンテナンスに追われることとなる。そこで、「コンデンサーなどの部品は故障率がより低い
高品質なものを選んだ。そこまで必要かと言われるほどだった」（深川部長）という。故障の
“予兆”をキャッチする仕組みも充実させた。温度や電圧、ファンの回転数などを測定する
センサーを1ノード当たり約100個搭載した。これは一般的な複数プロセサのサーバーの
3倍程度だという。
最後の難関がクアッドコアOpteronの調達だった。3800個もの数が必要となる一方で、
メーカー側の製造歩留まりの悪さなどから大量に確保するのが難しい状況だったからだ。
そこで、深川部長はAMDの米本社に出向いて、必要な数の確保を直談判したという。
東大は歴史的に日立のスパコンを導入している。このため業界では「今回も日立で決まり
だろう」と言われていた。これに対して深川部長は「特に今回はコモディティの製品を
組み合わせたPCクラスタ型。外資も含めてすべてのベンダーが採用される可能性があった。
部品の発注も開札で最終決定となる12月25日までストップをかけていた」と明かす。
日立は1月上旬から、同社の豊川工場で生産に入っている。台湾などのベンダーから納入された
モジュールを組み立てて調整する。日立は「HA8000？tc／RS425」を東大に納入するほか、
まずは国内で販売していく。
画像はソースをご覧下さい。ソースは
http://itpro.nikkeibp.co.jp/article/NEWS/20080129/292363/
依頼を受けてたてました。
|
|
|
2 ：名刺は切らしておりまして：2008/01/31(木) 11:18:51 ID:jzypJ1vr
Intel信者の俺はNehalemとSandy Bridgeに期待
3 ：名刺は切らしておりまして：2008/01/31(木) 11:19:03 ID:E2Yo3F/4
AMDのクアッドが熱いのは常識
4 ：名刺は切らしておりまして：2008/01/31(木) 11:21:11 ID:0FFr/vQL
AMD使ったのは、信頼性を重視してコンデンサとかに金かけた分を、節約するためだろ？
5 ：名刺は切らしておりまして：2008/01/31(木) 11:22:12 ID:P5toneYs
電気の無駄
3流大学のスパコンはエコでないので使用禁止にするべき
3流大学のスパコンはエコでないので使用禁止にするべき
6 ：名刺は切らしておりまして：2008/01/31(木) 11:23:14 ID:7KzNtjpF
つか、熱でお湯沸かして温泉の素を入れて近隣に売れよｗ
7 ：名刺は切らしておりまして：2008/01/31(木) 11:24:45 ID:jzypJ1vr
>>6 奇才現るww
8 ：名刺は切らしておりまして：2008/01/31(木) 11:31:28 ID:7/jW7jPL
スターリングエンジンでもくっつけてみてはいかがか
9 ：名刺は切らしておりまして：2008/01/31(木) 11:35:00 ID:vnM7zjus
>>7
普通の発想じゃね？
普通の発想じゃね？
10 ：名刺は切らしておりまして：2008/01/31(木) 11:36:40 ID:LV8Wz6SX
>性能向上にともない、やはり難しくなってきたのが熱設計だ。
だからスーパーコンピューターは寒冷地の山奥に設置しろとあれほど・・
都心に置いたら空調だけでランニングコストがどれだけかかるか ('A`)
だからスーパーコンピューターは寒冷地の山奥に設置しろとあれほど・・
都心に置いたら空調だけでランニングコストがどれだけかかるか ('A`)
11 ：名刺は切らしておりまして：2008/01/31(木) 11:36:59 ID:oTTwCuLk
これって8000番台のopteron？
12 ：名刺は切らしておりまして：2008/01/31(木) 11:37:09 ID:bjcmyR/R
>>6
・集積回路製造過程で使われるマイナズオゾンの効果により、髪やお肌に潤いを取り戻します
・クラスタ型スーパーコンピュータから出た熱は、分散処理性能に比例して水のクラスタを
細かくし、美容と健康を促進します
・「計算してくれてありがとう」と声をかけるといい水になります
※効果には個人差があります
主婦にバカ売れ。
・集積回路製造過程で使われるマイナズオゾンの効果により、髪やお肌に潤いを取り戻します
・クラスタ型スーパーコンピュータから出た熱は、分散処理性能に比例して水のクラスタを
細かくし、美容と健康を促進します
・「計算してくれてありがとう」と声をかけるといい水になります
※効果には個人差があります
主婦にバカ売れ。
13 ：名刺は切らしておりまして：2008/01/31(木) 11:37:33 ID:MOLx2nkq
> 現在の国内トップは東京工業大学の「TSUBAME」で、56.4テラFLOPSである。
90Tを超えてたはずだけど
90Tを超えてたはずだけど
14 ：名刺は切らしておりまして：2008/01/31(木) 11:37:48 ID:wmlYjMy6
>>6
エコキュート式に熱回収するのもいいかも。
エコキュート式に熱回収するのもいいかも。
15 ：名刺は切らしておりまして：2008/01/31(木) 11:38:17 ID:CUjcIE6a
日立のハードディスクは最低品質。
WD＞＞＞＞＞＞日立
WD＞＞＞＞＞＞日立
16 ：mn：2008/01/31(木) 11:39:01 ID:WmI2a2uj
隣に池つくって、熱帯魚の養殖でもすれば？
17 ：名刺は切らしておりまして：2008/01/31(木) 11:41:25 ID:sc4JcFqS
>140テラFLOPS
PS3 70台分しかないじゃねーか。大したことないな。
PS3 70台分しかないじゃねーか。大したことないな。
18 ：名刺は切らしておりまして：2008/01/31(木) 11:43:25 ID:H9Pv3aSS
>部品の発注も開札で最終決定となる12月25日までストップをかけていた
それで1月上旬からの組み立てが始められるはずもない。
「日立は発注しないけどこの部品用意しててください。入札通らなかったら
日立は一銭も損しないけど下請けはすべて被害をかぶってください」って
話だったと予想。大手メーカーはよくやる話。
それで1月上旬からの組み立てが始められるはずもない。
「日立は発注しないけどこの部品用意しててください。入札通らなかったら
日立は一銭も損しないけど下請けはすべて被害をかぶってください」って
話だったと予想。大手メーカーはよくやる話。
19 ：名刺は切らしておりまして：2008/01/31(木) 11:46:45 ID:kb0Z43yv
>>17
やめろ、本気にする馬鹿が居るから
やめろ、本気にする馬鹿が居るから
20 ：名刺は切らしておりまして：2008/01/31(木) 11:47:08 ID:u8mYhFeF
こんなマシンのメンテナンスをまかされたらイヤだな……
毎日毎日、部品の交換だろうね、JK……。
メーカーとしてはメンテナンスで金が取れるだろうけど。
毎日毎日、部品の交換だろうね、JK……。
メーカーとしてはメンテナンスで金が取れるだろうけど。
21 ：名刺は切らしておりまして：2008/01/31(木) 11:50:44 ID:sHdgbnCj
発熱問題のため当面は冬期限定運用？
22 ：名刺は切らしておりまして：2008/01/31(木) 11:52:00 ID:zPlLlmTh
普通のPCを大量に入れて、ネットワークでつないで処理させたほうが安上がりなんじゃないの？
23 ：名刺は切らしておりまして：2008/01/31(木) 11:52:22 ID:p7BkZ43c
どのぐらい有用なのかをまず示して欲しいなl。
24 ：名刺は切らしておりまして：2008/01/31(木) 11:57:43 ID:0FFr/vQL
>>22
冗談はIDだけにしとけ
冗談はIDだけにしとけ
25 ：名刺は切らしておりまして：2008/01/31(木) 11:58:00 ID:qyV5vxpI
OSはLinuxで操る事になるのかな
26 ：名刺は切らしておりまして：2008/01/31(木) 12:00:05 ID:6TcL0iQ2
27 ：名刺は切らしておりまして：2008/01/31(木) 12:01:33 ID:8/ZoATmI
Vistaベラボウに速えだろうな
28 ：名刺は切らしておりまして：2008/01/31(木) 12:06:29 ID:NRsANNHR
そのうち液体窒素使うようになるな。
29 ：名刺は切らしておりまして：2008/01/31(木) 12:08:02 ID:0FFr/vQL
インド人、１００人雇ったほうがいい
30 ：名刺は切らしておりまして：2008/01/31(木) 12:20:08 ID:uQEIKlMa
これだけのコアをうまく割り振るにはインド人を1000人やとってコンパイラを設計させないとな
31 ：名刺は切らしておりまして：2008/01/31(木) 14:37:44 ID:Rw76H4TH
発熱を利用して健康ランドでも作れば良いのに
東大の暖房をこれでまかなうとか
東大の暖房をこれでまかなうとか
32 ：名刺は切らしておりまして：2008/01/31(木) 15:15:25 ID:HTqZUDRz
>最後の難関がクアッドコアOpteronの調達だった
スパコン開発の物語も年々しょぼくなってるな
スパコン開発の物語も年々しょぼくなってるな
33 ：名刺は切らしておりまして：2008/01/31(木) 20:11:51 ID:ku6cIUms
34 ：名刺は切らしておりまして：2008/01/31(木) 20:17:05 ID:WRc9209p
PS2をたくさんつないだスパコンもあったんだからPS3がうじゃうじゃ集まったスパコンもあってしかるべき。
世界にあるPS3を全部つないだら世界最強スパコンの出来上がりじゃないの？
世界にあるPS3を全部つないだら世界最強スパコンの出来上がりじゃないの？
35 ：名刺は切らしておりまして：2008/01/31(木) 20:17:38 ID:7/jW7jPL
あるよ＜ＰＳ３をつなげたスパコン
36 ：名刺は切らしておりまして：2008/01/31(木) 20:31:51 ID:cXfwrynE
IBMは、今、PlayStation 3に使われているチップファミリーであるCellプロセッサと
Advanced Micro Devicesのプロセッサを組み合わせたRoadrunnerと呼ばれている
コンピュータの製作に当たっている。
来夏、米国エネルギー省ロスアラモス国立研究所に納入されるこのコンピュータの
計算能力は最大1ペタフロップス、つまり1秒間に1000兆回の演算が可能だ。
Cellチップの設計に参加し製造も行っている同社は、同チップの利用方法の拡大を模索していた。
ペタフロップス級コンピュータは多くのメーカーにとって長年の目標だ。
国時間11月12日にネバダ州リノで開かれたSC07カンファレンスで発表された 最新版Top500 Supercomputer Sitesリストで
ローレンス・リバモア国立研究所に設置されているIBM製スーパーコンピュータBlue Gene/Lが最速にランクされたが、
その計算能力は478.2テラフロップス（毎秒478.2兆回の演算が可能）。Roadrunnerはその2倍の能力を持つことになる。
http://headlines.yahoo.co.jp/hl?a=20071113-00000012-cnet-sci
想される性能は、
CELL の倍精度強化版
ピーク 1.7Pflops で電力は 6MW
3500万ドル相当
http://www.cs.utk.edu/~dongarra/cell2006/cell-slides/04-Ken-Koch.pdf
>RoadRunnerシステムは、8,640個のdual core Opteronで76テラFLOPSの性能
>アクセルレータ部分は16,560個のCell BEで1.6PetaFLOPSピーク性能を予定
>しているクラスター・システムです。
http://hpc.livedoor.biz/archives/50429557.html
Advanced Micro Devicesのプロセッサを組み合わせたRoadrunnerと呼ばれている
コンピュータの製作に当たっている。
来夏、米国エネルギー省ロスアラモス国立研究所に納入されるこのコンピュータの
計算能力は最大1ペタフロップス、つまり1秒間に1000兆回の演算が可能だ。
Cellチップの設計に参加し製造も行っている同社は、同チップの利用方法の拡大を模索していた。
ペタフロップス級コンピュータは多くのメーカーにとって長年の目標だ。
国時間11月12日にネバダ州リノで開かれたSC07カンファレンスで発表された 最新版Top500 Supercomputer Sitesリストで
ローレンス・リバモア国立研究所に設置されているIBM製スーパーコンピュータBlue Gene/Lが最速にランクされたが、
その計算能力は478.2テラフロップス（毎秒478.2兆回の演算が可能）。Roadrunnerはその2倍の能力を持つことになる。
http://headlines.yahoo.co.jp/hl?a=20071113-00000012-cnet-sci
想される性能は、
CELL の倍精度強化版
ピーク 1.7Pflops で電力は 6MW
3500万ドル相当
http://www.cs.utk.edu/~dongarra/cell2006/cell-slides/04-Ken-Koch.pdf
>RoadRunnerシステムは、8,640個のdual core Opteronで76テラFLOPSの性能
>アクセルレータ部分は16,560個のCell BEで1.6PetaFLOPSピーク性能を予定
>しているクラスター・システムです。
http://hpc.livedoor.biz/archives/50429557.html
37 ：名刺は切らしておりまして：2008/01/31(木) 21:14:22 ID:6Z80dWTG
38 ：名刺は切らしておりまして：2008/01/31(木) 21:24:44 ID:BeAHhcda
神戸のスパコンを冷やすには、どれほどの設備が必要なんだ？
39 ：名刺は切らしておりまして：2008/01/31(木) 21:29:06 ID:/1LIbShj
熱の再利用という観点から有効利用法を考えてみると意外と楽しいかもしれない
40 ：名刺は切らしておりまして：2008/01/31(木) 21:50:28 ID:uKLfY5o6
俺は全く知らないんだけど、
こういうスパコンで何を計算するんだろ？
そこまで凄いことなんだろうか？
こういうスパコンで何を計算するんだろ？
そこまで凄いことなんだろうか？
41 ：名刺は切らしておりまして：2008/01/31(木) 21:51:51 ID:ej0tFXS/
日立とNECと富士通を国策で合体させたらどうだ
あんなに一杯いらんだろ
あんなに一杯いらんだろ
42 ：名刺は切らしておりまして：2008/01/31(木) 21:59:06 ID:az39gvp0
43 ：名刺は切らしておりまして：2008/01/31(木) 22:08:19 ID:ej0tFXS/
マグニチュードみたいな出し方と思えばいいんだな
44 ：名刺は切らしておりまして：2008/01/31(木) 23:01:27 ID:nX/pduOS
>>40
> 俺は全く知らないんだけど、
> こういうスパコンで何を計算するんだろ？
色々あるが、いくつか例をあげると、
・台風の進路予測
・物理や天文のシミュレーション
・自動車のデザインにおけるシミュレーション
などなど。
アメリカだと核兵器のシミュレーションが大きな目的だったりするな。
> 俺は全く知らないんだけど、
> こういうスパコンで何を計算するんだろ？
色々あるが、いくつか例をあげると、
・台風の進路予測
・物理や天文のシミュレーション
・自動車のデザインにおけるシミュレーション
などなど。
アメリカだと核兵器のシミュレーションが大きな目的だったりするな。
CPU3808個で140TFlopsって何気にすごいな・・