InfiniBandについて語るスレ

ストレージのトラブルは大変だよ。
Infinibandに関係ないチラ裏だけど、某大手DCで冗長構成の片方が死んで、
片肺運転＆リビルド中にもう負荷かけたら片方も死んで、顧客に「データが
復旧できなければ会社を畳む」とまで言わせたことがあるしなーｗ
ストレージベンダごと乗り換えて対応したけど。

ttp://research.sakura.ad.jp/wp-content/uploads/2013/10/20131023-wakamonog-post.pdf
という話のようです。

リビルド中に負荷かけるのって場合によっては完全死亡フラグだよねｗ
壊れないはずだからと重要データのバックアップ取らないのもどうかしてる

ありがちな死亡フラグ??

�@ 「この戦争が終わったら、俺、結婚するんだ」??
�A 「いいか、俺が帰ってくるまでここを動くんじゃないぞ」??
�B セックスする前のシャワー??
�C いわく付きの場所で若者がいい雰囲気??
�D 「必ず戻ってくるから」「必ず迎えに来るから」??
�E 「この中に犯罪者がいるかもしれないのに一緒に寝れるか！俺は自分の部屋に戻るぞ！」??
�F 「明日は娘の誕生日なんだ」??
�G この最後の仕事を終えたら足を洗うと決意してる状態??
�H 「この仕事が終わったら２人で暮らそう」??
�I 「××様が出るまでもありませんよ。ここは私めにお任せを…」??
�J 今まで目立たなかった脇役が急に目立つ??
�K 「今度の仕事でまとまったカネが入るんだ」??
�L 「おのれ〜！ええぃ、出合え！出合えーぃっ！！ 」??
�M 「おいガキ！足手まといになる様なら、容赦なく置いていくからな！」??
�N??「私に構わず早く行って！…アナタは私達みんなの希望なの！こんなところで死なせはしない！」??
�O 今まで苦労ばかりかけて泣かせてきた家族や恋人宛にプレゼントを買いに行く??
�P 「父さんにもしもの事があったら…その時はお前が母さんや妹を守るんだ…いいな？」??
�Qリビルド中の高負荷

リビルド中の高負荷つーか、リビルドそのものが高負荷なわけでｗ

RAID6のHDDが1台死亡→交換してリビルド→リビルド中に別のHDDが死亡

ていう事が某データセンターで実際に発生した事がｗｗｗｗ
別媒体へのバックアップ？やってるわけ無いｗｗｗ

そんな想定内の珍しくない話をされましてもｗ

RAID6なら2台死んでも想定内ダロ

同様にヘタってた別のHDDが連鎖的に壊れたとか
ファームウェアやハードウェアが悪くて過負荷でクラッシュとか

InfiniBand プログラムに必要な基本的な概念
www.nminoru.jp/~nminoru/network/infiniband/iba-concept.html

素晴らしい資料

おお、すばらしいね。あと標準的なコマンド群（含ベンチマーク用）の解説がちょろっとあれば完璧。

www.geocities.jp/andosprocinfo/wadai14/20140628.htm
IntelがやっぱりCPUにInfiniband(互換)を集積してきたね。コンシューマ向けは来ないだろうけど。

CPUって言うけどXeon Phiじゃん

>ファブリックを集積するのは当然の方向ですが，InfiniBandの雄のMellanoxにとっては憂慮すべき事態で，どのような対応を取るのかも興味が持たれます。

NVIDIAとAMDにIPライセンス提供でグラボにIB載せる方針でｗ

グラボにIBとか、って思ったけどtesla用にhicとか必要だしアリなのかも。

>>840
NVLinkってのが発表されてた

NVLinkより半2重、というのが興味深いよね。実質通信なんて片方向にしか１度には起きないわけで、
全2重は無駄といえば無駄だし。だけどクロックどうしてんだろ。embedにしたら同期するまで時間かかるし、
下手に分離とかするとどこかの特許にひっかかりそうだし。あと光との相性が悪いか。

過疎スレにメモ：
FJT0D90200009（富士通OEMのMHQH19B）、CX4にしたときにリンクアップするのに疎通しない相手先があって、
IBでは使えるんで放ってあったんだけど原因判明。flint dcのeth_rx_lane_polarity_port1=0x1を0x0にしたらOK。

富士通oemのsdr Dualport HCA買いました
初inifinibandなんでドライバー入れて認識させるまでドキドキです

>>845 オメ。でも >>795 だと思う。
まあいろんなボードやケーブルあったほうが楽しいし（ｗ

>>846
スイッチ込みなのでsdrがお財布の限界でした…
なお、esxi5.5にinfinihost IIIを認識させる方法が見つからず、詰んでおります…

>>847
ESXiだと、5.0以上はConnect-X2以降じゃ無いと、使えなかったような。
InfiniHost系は認識すらされず、Connect-Xは、認識されてドライバも入るけど、疎通不可だったような・・・
ここの過去スレか、ソフトウェア板のESXiの過去スレか、どっかにあったはず。
5.0未満なら、使えるはず。

Windows系も含めて、もうConnect-X以下のサポートバンバン切られてるから、
>>795こういう意見になるのかと。
別にQDRとして使わなくても、SDRでリンクするから、あえて古い世代選ぶ必要、無いんだよね。
ここの所の雰囲気だと、Connect-X2系も、そろそろヤバメではあるんだけど。。。

ConnectX-2よりもInfiniband自体がヤバメ、というか（笑）

CX4-QDRケーブルでSDRスイッチとつないでリンクアップもできるんで、ConnectX-2系に乗り換えるのもいいかと。

>>848
理解しました。
スピードネゴしてくれるの完全に頭から抜けてたんで、qsfp to sff8470とかで対応しようと思います。
connectx2探してきます

ありがとうございます！

3年使ってたConnectX2-VPIが突然死した
eBayでまた調達しないと…

円安だしヤフオクの方が安いんじゃない？
無くなったけどMHQH29CがeBayでも見たことない値段だった。

mellanoxで検索すると出るよ。ロープロファイルが欲しいなら9000円ので、フルがいいのならこれかな。

でも3年後を考えるとConnectX-3ってことなのかな？
ebay調べたら
ConnectX3 $400
ConnectIB $800
ぐらいだった。ConnectIBはまだ落ちてきてないみたい。

値段調べてたらConnectX-3が欲しくなってしまった

ConnectX-3 VPI
　PCIe3.0 x8
　QDR,FDR10,FDR14,40GigE,10GigEタイプが混在

ConnectX-3 Pro
　PCIe3.0 x8
　FDR14,40GigE,56GigE

Connect-IB
　PCIe2.0 x16,PCIe3.0 x8,PCIe3.0 x16
　FDR14のみ？

CoonectX-3、ヤフオクでいつもの人がもっと安く出してるよ。

ENだから違う

あ、本当だ。すいません。

mellanox QSAを調達したのでSFP+の試験。といっても
MHQH19B(FJT0D90200009、polarity_port1変更済)およびMHQH29C(MT_0FC0110009)で
問題なくSFP+DAおよびLR(Brocade 57-0000076-01)で動作した。つまらん（ｗ

QSA、構造のわりに値段が高いけど、これがあるとConnectX-2のつぶしが効く(IB-QDRでも
10GBe-SFP+でも10GBe-CX4でも使える）のでなかなか良いかも。

あ、一応、QSAはopticsを刺すと放熱的に問題ありそうなので、たぶんメラ的にはDAしか薦めてないと思う。

(ESXi5.5 + ConnectX-2 + OFED 1.9.10)*2台直結 10GbE にしてみた。
ゲストOmniOS同士、vmxnet3s だと IPoIB でも 10GbE でも大差ない。
iperf 60秒平均で6Gbpsほど。EnableLRO=0 にしないと安定しない。
ESXi上にはストレージアダプタでiSERが出てくるけど、
ゲスト視点ではNIC vmxnet3sだけなので、遊べない。
SR-IOV動く使えるマシンならゲストからでもiSER提供できるんでしょうか?

Mellanox WinOF Rev 4.90.50000が出てたけど、
ついにConnectX-2 adapter cards Unsupportedｷﾀｰ。

まぁ、雰囲気そんな感じはしてたけど。

次期Windowsからは、10GbEカードとして使うしか、
無くなるかなー、Inboxドライバが入ればだけど。。。

IBよりもEtherがメインになっちゃってるから仕方ないかもね。IB関連で何か新機能あるんだっけ？
でも次期windowsでもorcaでごにょればきっと前のWinOFが入るから気にしない。

次期Windowsの頃には10GBase-T環境がもうちょっと手が出る値段で買えるといいなあ
InfiniBandスレで言うことじゃないことかもしれんけどさｗ

10GBase-Tはカード側はオクで1万〜2万程度で出物があるけど、ハブ側がねぇ。
消費電力もばかにならないし。個人でやるのならSFP+が正解だと思う。

遅ればせながら家庭内IB環境作りたいなと物色中です
やりたいのは
ESXi<--OmniOS-->Linux(Xen)
での2vs1の接続なんですが
今だとお手軽に始めようと思うとConnectX-2あたりをオクで仕入れるのが無難でしょうか？
(新しい世代に越したこたないのは確かですが、ConnectX-3はさすがにお小遣い的に手が出ない）
この場合、仕入れるのはDualPort1枚+SinglePort2枚、SFP+ケーブル２本、で良いですよね？
また、上記構成の場合、SMはOmniOSに入れる必要がありますか？Linux側でも良いでしょうか？

ConnectX2 の IB なカードは、QSFP。
SMは2つ必要。(1) ESXiかOmni (2) OmniかLinux
でもOmni用のOpenSMは見つからないと思うので
必然的にESXiとLinux上に。

ん？ESXiでOpenSM動くんだっけ？
ESXで動く物は有ったけど、ESXiで動くものは無かったような？少なくとも公式では。

Solaris系をストレージにする限り、ESXiは無理な気がする。
ZFSでストレージ作りたい＆IB使いたいなら、Linux+ZFS on Linuxか、
FreeBSDで作るしか無いんじゃない？
後は、OpenSM積んだ、マネージドスイッチを使うか。

SolarisとESXi両方で動かしてるよ

>>868
もちろん公式ではありませんが
ttp://www.bussink.ch/?p=1306
で。

へー、ビルドしてくれてる人居るんだ。
まぁそれならそれ使っても良いかもね。

うちは、随分前にHyper-V+FreeBSD ctldに乗り換えちゃったんで、
ESXiでIBの情報はそんなに追っかけてなかった。
最近FreeBSDのtargetの開発著しいんで、Solarisに戻る事はないかなぁ。

>>869
情報ありがとうございます
商用利用でもない自宅環境ので、野良ビルドでもいいのでESXiにopensm突っ込もうと思います
napp-itの楽ちんさに慣れてしまったので、FreeBSDに乗り換えるのが億劫なのでｗ

ちなみにConnectX2の2ポート品だとPCIe側の帯域が足らないよ。同時にがっつり使わなければ大丈夫、
というかがっつり使うと他の部分がどうせ間に合わないけど。

まぁ大丈夫っしょ。
がっつり使わなくても、ストレージが最初に根を上げる（SSDのRAIDじゃ無い限り）、多分。

すまん、教えてください。
QDRのHCAとケーブル使って、DDRのスイッチ利用して通信って可能なのだろうか？もちろん、速度は落ちることはわかってるけど、ネットワークハブみたいに互換性ってあるのかどうかわからずで、、、。

どなたか教えて下さい！！

>>875
スイッチがDDRなら、DDRでリンクするよ。

ありがとです！！早速購入しますっ！！