InfiniBandについて語るスレ

このエントリーをはてなブックマークに追加
828不明なデバイスさん:2014/03/03(月) 06:31:06.06 ID:Sxf2gndm
ストレージのトラブルは大変だよ。
Infinibandに関係ないチラ裏だけど、某大手DCで冗長構成の片方が死んで、
片肺運転&リビルド中にもう負荷かけたら片方も死んで、顧客に「データが
復旧できなければ会社を畳む」とまで言わせたことがあるしなーw
ストレージベンダごと乗り換えて対応したけど。
829不明なデバイスさん:2014/03/03(月) 06:43:01.40 ID:6pVSWXUZ
830不明なデバイスさん:2014/03/03(月) 12:15:30.58 ID:MSvSRMc4
リビルド中に負荷かけるのって場合によっては完全死亡フラグだよねw
壊れないはずだからと重要データのバックアップ取らないのもどうかしてる
831不明なデバイスさん:2014/03/06(木) 06:56:41.27 ID:Lj6DTPus
ありがちな死亡フラグ??

@ 「この戦争が終わったら、俺、結婚するんだ」??
A 「いいか、俺が帰ってくるまでここを動くんじゃないぞ」??
B セックスする前のシャワー??
C いわく付きの場所で若者がいい雰囲気??
D 「必ず戻ってくるから」「必ず迎えに来るから」??
E 「この中に犯罪者がいるかもしれないのに一緒に寝れるか!俺は自分の部屋に戻るぞ!」??
F 「明日は娘の誕生日なんだ」??
G この最後の仕事を終えたら足を洗うと決意してる状態??
H 「この仕事が終わったら2人で暮らそう」??
I 「××様が出るまでもありませんよ。ここは私めにお任せを…」??
J 今まで目立たなかった脇役が急に目立つ??
K 「今度の仕事でまとまったカネが入るんだ」??
L 「おのれ〜!ええぃ、出合え!出合えーぃっ!! 」??
M 「おいガキ!足手まといになる様なら、容赦なく置いていくからな!」??
N??「私に構わず早く行って!…アナタは私達みんなの希望なの!こんなところで死なせはしない!」??
O 今まで苦労ばかりかけて泣かせてきた家族や恋人宛にプレゼントを買いに行く??
P 「父さんにもしもの事があったら…その時はお前が母さんや妹を守るんだ…いいな?」??
Qリビルド中の高負荷
832不明なデバイスさん:2014/03/06(木) 08:04:15.39 ID:FK0qU1cf
リビルド中の高負荷つーか、リビルドそのものが高負荷なわけでw

RAID6のHDDが1台死亡→交換してリビルド→リビルド中に別のHDDが死亡

ていう事が某データセンターで実際に発生した事がwwww
別媒体へのバックアップ?やってるわけ無いwww
833不明なデバイスさん:2014/03/06(木) 12:39:43.95 ID:9YLLT/2p
そんな想定内の珍しくない話をされましてもw
834不明なデバイスさん:2014/03/06(木) 13:28:30.64 ID:cmlje4xd
RAID6なら2台死んでも想定内ダロ
835不明なデバイスさん:2014/03/06(木) 13:40:15.49 ID:9YLLT/2p
同様にヘタってた別のHDDが連鎖的に壊れたとか
ファームウェアやハードウェアが悪くて過負荷でクラッシュとか
836不明なデバイスさん:2014/03/31(月) 13:45:21.99 ID:eMNfTyiN
InfiniBand プログラムに必要な基本的な概念
www.nminoru.jp/~nminoru/network/infiniband/iba-concept.html

素晴らしい資料
837不明なデバイスさん:2014/04/01(火) 10:41:15.94 ID:ix6eFyEm
おお、すばらしいね。あと標準的なコマンド群(含ベンチマーク用)の解説がちょろっとあれば完璧。
838不明なデバイスさん:2014/06/30(月) 16:38:40.11 ID:HTq8FnrA
www.geocities.jp/andosprocinfo/wadai14/20140628.htm
IntelがやっぱりCPUにInfiniband(互換)を集積してきたね。コンシューマ向けは来ないだろうけど。
839不明なデバイスさん:2014/06/30(月) 18:50:24.97 ID:I7xk59oh
CPUって言うけどXeon Phiじゃん
840不明なデバイスさん:2014/07/02(水) 08:14:11.42 ID:h1B780ZY
>ファブリックを集積するのは当然の方向ですが,InfiniBandの雄のMellanoxにとっては憂慮すべき事態で,どのような対応を取るのかも興味が持たれます。

NVIDIAとAMDにIPライセンス提供でグラボにIB載せる方針でw
841不明なデバイスさん:2014/07/02(水) 09:37:27.93 ID:bfXeq1ok
グラボにIBとか、って思ったけどtesla用にhicとか必要だしアリなのかも。
842不明なデバイスさん:2014/07/02(水) 11:46:30.68 ID:nxMwd+7u
>>840
NVLinkってのが発表されてた
843不明なデバイスさん:2014/07/08(火) 14:01:47.39 ID:BqRXsEpS
NVLinkより半2重、というのが興味深いよね。実質通信なんて片方向にしか1度には起きないわけで、
全2重は無駄といえば無駄だし。だけどクロックどうしてんだろ。embedにしたら同期するまで時間かかるし、
下手に分離とかするとどこかの特許にひっかかりそうだし。あと光との相性が悪いか。
844不明なデバイスさん:2014/09/05(金) 19:18:07.16 ID:k09LHYvu
過疎スレにメモ:
FJT0D90200009(富士通OEMのMHQH19B)、CX4にしたときにリンクアップするのに疎通しない相手先があって、
IBでは使えるんで放ってあったんだけど原因判明。flint dcのeth_rx_lane_polarity_port1=0x1を0x0にしたらOK。
845不明なデバイスさん:2014/09/17(水) 08:59:10.61 ID:1H23Fgmb
富士通oemのsdr Dualport HCA買いました
初inifinibandなんでドライバー入れて認識させるまでドキドキです
846不明なデバイスさん:2014/09/17(水) 14:19:56.49 ID:+sQpF3OO
>>845 オメ。でも >>795 だと思う。
まあいろんなボードやケーブルあったほうが楽しいし(w
847不明なデバイスさん:2014/09/18(木) 03:23:02.02 ID:SRR2mtLN
>>846
スイッチ込みなのでsdrがお財布の限界でした…
なお、esxi5.5にinfinihost IIIを認識させる方法が見つからず、詰んでおります…
848不明なデバイスさん:2014/09/18(木) 09:03:58.25 ID:6FOrdwju
>>847
ESXiだと、5.0以上はConnect-X2以降じゃ無いと、使えなかったような。
InfiniHost系は認識すらされず、Connect-Xは、認識されてドライバも入るけど、疎通不可だったような・・・
ここの過去スレか、ソフトウェア板のESXiの過去スレか、どっかにあったはず。
5.0未満なら、使えるはず。

Windows系も含めて、もうConnect-X以下のサポートバンバン切られてるから、
>>795こういう意見になるのかと。
別にQDRとして使わなくても、SDRでリンクするから、あえて古い世代選ぶ必要、無いんだよね。
ここの所の雰囲気だと、Connect-X2系も、そろそろヤバメではあるんだけど。。。
849不明なデバイスさん:2014/09/18(木) 09:17:59.38 ID:onvUpuGz
ConnectX-2よりもInfiniband自体がヤバメ、というか(笑)

CX4-QDRケーブルでSDRスイッチとつないでリンクアップもできるんで、ConnectX-2系に乗り換えるのもいいかと。
850不明なデバイスさん:2014/09/18(木) 09:21:20.35 ID:SRR2mtLN
>>848
理解しました。
スピードネゴしてくれるの完全に頭から抜けてたんで、qsfp to sff8470とかで対応しようと思います。
connectx2探してきます

ありがとうございます!
851不明なデバイスさん:2014/09/19(金) 00:05:00.21 ID:pbkgkNXa
3年使ってたConnectX2-VPIが突然死した
eBayでまた調達しないと…
852不明なデバイスさん:2014/09/19(金) 11:00:10.29 ID:G2l4CI/c
円安だしヤフオクの方が安いんじゃない?
無くなったけどMHQH29CがeBayでも見たことない値段だった。
853不明なデバイスさん:2014/09/19(金) 15:30:33.80 ID:P4zDC9lb
mellanoxで検索すると出るよ。ロープロファイルが欲しいなら9000円ので、フルがいいのならこれかな。
854不明なデバイスさん:2014/09/19(金) 16:34:52.85 ID:G2l4CI/c
でも3年後を考えるとConnectX-3ってことなのかな?
ebay調べたら
ConnectX3 $400
ConnectIB $800
ぐらいだった。ConnectIBはまだ落ちてきてないみたい。
855不明なデバイスさん:2014/09/19(金) 17:14:54.26 ID:G2l4CI/c
値段調べてたらConnectX-3が欲しくなってしまった

ConnectX-3 VPI
 PCIe3.0 x8
 QDR,FDR10,FDR14,40GigE,10GigEタイプが混在

ConnectX-3 Pro
 PCIe3.0 x8
 FDR14,40GigE,56GigE

Connect-IB
 PCIe2.0 x16,PCIe3.0 x8,PCIe3.0 x16
 FDR14のみ?
856不明なデバイスさん:2014/09/20(土) 16:04:37.33 ID:mUO+8D0f
CoonectX-3、ヤフオクでいつもの人がもっと安く出してるよ。
857不明なデバイスさん:2014/09/20(土) 18:25:44.90 ID:WWvD/IAs
ENだから違う
858不明なデバイスさん:2014/09/21(日) 17:38:34.24 ID:lJzeNqTb
あ、本当だ。すいません。
859不明なデバイスさん:2014/09/24(水) 10:01:33.72 ID:w6r/KawC
mellanox QSAを調達したのでSFP+の試験。といっても
MHQH19B(FJT0D90200009、polarity_port1変更済)およびMHQH29C(MT_0FC0110009)で
問題なくSFP+DAおよびLR(Brocade 57-0000076-01)で動作した。つまらん(w

QSA、構造のわりに値段が高いけど、これがあるとConnectX-2のつぶしが効く(IB-QDRでも
10GBe-SFP+でも10GBe-CX4でも使える)のでなかなか良いかも。
860不明なデバイスさん:2014/09/24(水) 10:12:40.15 ID:w6r/KawC
あ、一応、QSAはopticsを刺すと放熱的に問題ありそうなので、たぶんメラ的にはDAしか薦めてないと思う。
861不明なデバイスさん:2014/10/13(月) 11:07:26.40 ID:0GTHmU44
(ESXi5.5 + ConnectX-2 + OFED 1.9.10)*2台直結 10GbE にしてみた。
ゲストOmniOS同士、vmxnet3s だと IPoIB でも 10GbE でも大差ない。
iperf 60秒平均で6Gbpsほど。EnableLRO=0 にしないと安定しない。
ESXi上にはストレージアダプタでiSERが出てくるけど、
ゲスト視点ではNIC vmxnet3sだけなので、遊べない。
SR-IOV動く使えるマシンならゲストからでもiSER提供できるんでしょうか?
862不明なデバイスさん:2015/02/04(水) 09:14:02.60 ID:kOADHgCC
Mellanox WinOF Rev 4.90.50000が出てたけど、
ついにConnectX-2 adapter cards Unsupportedキター。

まぁ、雰囲気そんな感じはしてたけど。

次期Windowsからは、10GbEカードとして使うしか、
無くなるかなー、Inboxドライバが入ればだけど。。。
863不明なデバイスさん:2015/02/08(日) 16:19:54.99 ID:KXDz9QA/
IBよりもEtherがメインになっちゃってるから仕方ないかもね。IB関連で何か新機能あるんだっけ?
でも次期windowsでもorcaでごにょればきっと前のWinOFが入るから気にしない。
864不明なデバイスさん:2015/02/09(月) 01:58:26.02 ID:CMw06GPO
次期Windowsの頃には10GBase-T環境がもうちょっと手が出る値段で買えるといいなあ
InfiniBandスレで言うことじゃないことかもしれんけどさw
865不明なデバイスさん:2015/02/09(月) 09:15:26.95 ID:Xf/nI/nG
10GBase-Tはカード側はオクで1万〜2万程度で出物があるけど、ハブ側がねぇ。
消費電力もばかにならないし。個人でやるのならSFP+が正解だと思う。
866不明なデバイスさん:2015/02/16(月) 00:53:24.30 ID:ERIY5h4U
遅ればせながら家庭内IB環境作りたいなと物色中です
やりたいのは
ESXi<--OmniOS-->Linux(Xen)
での2vs1の接続なんですが
今だとお手軽に始めようと思うとConnectX-2あたりをオクで仕入れるのが無難でしょうか?
(新しい世代に越したこたないのは確かですが、ConnectX-3はさすがにお小遣い的に手が出ない)
この場合、仕入れるのはDualPort1枚+SinglePort2枚、SFP+ケーブル2本、で良いですよね?
また、上記構成の場合、SMはOmniOSに入れる必要がありますか?Linux側でも良いでしょうか?
867不明なデバイスさん:2015/02/16(月) 08:34:34.50 ID:0fwP0lw8
ConnectX2 の IB なカードは、QSFP。
SMは2つ必要。(1) ESXiかOmni (2) OmniかLinux
でもOmni用のOpenSMは見つからないと思うので
必然的にESXiとLinux上に。
868不明なデバイスさん:2015/02/16(月) 17:18:03.55 ID:gIkxzs3r
ん?ESXiでOpenSM動くんだっけ?
ESXで動く物は有ったけど、ESXiで動くものは無かったような?少なくとも公式では。

Solaris系をストレージにする限り、ESXiは無理な気がする。
ZFSでストレージ作りたい&IB使いたいなら、Linux+ZFS on Linuxか、
FreeBSDで作るしか無いんじゃない?
後は、OpenSM積んだ、マネージドスイッチを使うか。
869不明なデバイスさん:2015/02/16(月) 21:33:04.10 ID:J9FERcLf
SolarisとESXi両方で動かしてるよ
870不明なデバイスさん:2015/02/16(月) 21:44:02.59 ID:0fwP0lw8
>>868
もちろん公式ではありませんが
ttp://www.bussink.ch/?p=1306
で。
871不明なデバイスさん:2015/02/16(月) 22:42:16.26 ID:gIkxzs3r
へー、ビルドしてくれてる人居るんだ。
まぁそれならそれ使っても良いかもね。

うちは、随分前にHyper-V+FreeBSD ctldに乗り換えちゃったんで、
ESXiでIBの情報はそんなに追っかけてなかった。
最近FreeBSDのtargetの開発著しいんで、Solarisに戻る事はないかなぁ。
872不明なデバイスさん:2015/02/17(火) 10:33:41.61 ID:j2sNM51B
>>869
情報ありがとうございます
商用利用でもない自宅環境ので、野良ビルドでもいいのでESXiにopensm突っ込もうと思います
napp-itの楽ちんさに慣れてしまったので、FreeBSDに乗り換えるのが億劫なのでw
873不明なデバイスさん:2015/02/20(金) 17:35:45.08 ID:CtH6X0qi
ちなみにConnectX2の2ポート品だとPCIe側の帯域が足らないよ。同時にがっつり使わなければ大丈夫、
というかがっつり使うと他の部分がどうせ間に合わないけど。
874不明なデバイスさん:2015/02/20(金) 19:21:19.60 ID:FZXM01WY
まぁ大丈夫っしょ。
がっつり使わなくても、ストレージが最初に根を上げる(SSDのRAIDじゃ無い限り)、多分。
875不明なデバイスさん:2015/02/26(木) 09:21:37.99 ID:k99ZkXqy
すまん、教えてください。
QDRのHCAとケーブル使って、DDRのスイッチ利用して通信って可能なのだろうか?もちろん、速度は落ちることはわかってるけど、ネットワークハブみたいに互換性ってあるのかどうかわからずで、、、。

どなたか教えて下さい!!
876不明なデバイスさん:2015/02/26(木) 13:22:10.37 ID:z0y2CIH/
>>875
スイッチがDDRなら、DDRでリンクするよ。
877不明なデバイスさん
ありがとです!!早速購入しますっ!!