G4 Cubeにラズパイ4@8GBを16台積んでみる夢を見た（46万コース）

汝、翼を与える＠ばってん先に翼ばくれんね イベント・・（parody） @ryunosinfx

いっそ、G4Cubeにラズパイ4@8GBを大量に入れて クラスターにしてもよいのでは？と思ったが、させる仕事がないので思いとどまるなど。

汝、翼を与える＠ばってん先に翼ばくれんね イベント・・（parody） @ryunosinfx

させる仕事がない、だから誰も使わない それがPCクラスタ〜

汝、翼を与える＠ばってん先に翼ばくれんね イベント・・（parody） @ryunosinfx

128GBメモリを目標とすると、16台じゃのう 64コアのCPUが集結する。 まあNICとハブの配線とか起動ストレージどうするんや問題はあるよねぇ。

汝、翼を与える＠ばってん先に翼ばくれんね イベント・・（parody） @ryunosinfx

ikarus.sg/how-i-built-kr… 投資に見合う何かがないとねぇ・・・

汝、翼を与える＠ばってん先に翼ばくれんね イベント・・（parody） @ryunosinfx

実際問題として16口のHubを内蔵が出来るのか？ 長辺が21cmとか書いてあるよ？ buffalo.jp/product/detail… 速度出ないよ！？とか 給電口のUSBコネクタも使おうとするとガジェットモードで他のUSBが使えないので （と言ってもUSB2.0接続なので33MB/sが上限）どうするよとかあるわけですよ。

汝、翼を与える＠ばってん先に翼ばくれんね イベント・・（parody） @ryunosinfx

16CPUの接続トポロジー nii.ac.jp/userimg/press_… にあるように、4辺なので4USB口に全部GIGAbit NICを付けてクロスケーブルで結線、 SANに1個NICを割り付けてとかやるとスパコンじみていい感じなんだが・・・うーん。 NIC1個2000円で、80個=16万はかかるのだが・・・

汝、翼を与える＠ばってん先に翼ばくれんね イベント・・（parody） @ryunosinfx

だったら、5ポートハブ16台でとか考えるけど、そうすると多分ループが発生するんよね。 2ホップでループが発生するので、それだったら普通に16ポートハブでよくない？という話になってしまう。 2.5GigaのNIC＋2.5Giga5ポートハブでという選択肢もあるが当然お値段、容積共にうなぎのぼりに

汝、翼を与える＠ばってん先に翼ばくれんね イベント・・（parody） @ryunosinfx

結局、NIC、Wifi、青歯、ガジェットモードのUSBnet、が投資少なくして使えるが、ストレージがやはりネックで、 と言ってもフルロードでGigabitの125MB/sを要求する処理って早々ないよねなのはある。 USBnetの場合は16台なので、4口ハブが2層あれば繋がる。トポロジーが1:NなのでSANかなー

汝、翼を与える＠ばってん先に翼ばくれんね イベント・・（parody） @ryunosinfx

USB3.0コントローラー→USB3.0ハブ→USB2.0変換をすると論理値60MB/sに近しい速度が出ると。混載してもコントローラー＝ハブ間は5Gbpsで繋がってると。 bbs.kakaku.com/bbs/-/SortID=1… だとすると、16台が480Mbpsで7680Mbpsなので・・・ 312Mbpsなので、40MB/sが上限として、全員がフルロードすると26MB/sと

汝、翼を与える＠ばってん先に翼ばくれんね イベント・・（parody） @ryunosinfx

今回は、 ・計算ノードが16台、 ・1ノードがストレージノード やはり、ストレージノードが1台だと、USB3.0の帯域が不足する。4台にするとUSBnet＋USBnet経由のストレージアクセス＋1GbpsのLANがバランスする 合計20台・・・ゴクリ 素直に10台にしておけば、64GBの32コアのノードが出来ると言えば出来る

汝、翼を与える＠ばってん先に翼ばくれんね イベント・・（parody） @ryunosinfx

２０台では一台ざっと20Wぐらいで計算しないとなんですよ。 そうすると400Wは要求されるし、12V→5VのDCDCコンバーター10%マージンを考えると450Wな訳ですよ ストレージも250MB/sをランダムリードで叩き出せるストレージがRAID1で欲しいとか言い始めるので8台SSDが必要で１台1万とか言うと＋8万ですよ

汝、翼を与える＠ばってん先に翼ばくれんね イベント・・（parody） @ryunosinfx

20台マシン間のSANじゃない方は、普通に 8口Gigabitハブx2を5口ハブ経由で繋いで、１口が外にコンニチワですかね。 で、各マシンのハイパーバイザーまではMicroSDで起動、 k8sの通信はNIC経由で、SANは別口。 まあこれが一番安くて確実かな。 もし、4口フルNICで5Gbpsの帯域使い切るだと

汝、翼を与える＠ばってん先に翼ばくれんね イベント・・（parody） @ryunosinfx

１個のGigabitNICがSANに向くので、 ストレージが最速でPCIE3.0x4なので、20Gbpsか そうすると1GbpsのNICを16個USBハブ経由で MiniITXの最小限マシンとリンクすればいい B450でAthlonとか。 そうすると、ストレージ鯖の12万が少し４万ぐらいに圧縮出来る。NIC代が16万増えてしまうが。合計40万コースか

汝、翼を与える＠ばってん先に翼ばくれんね イベント・・（parody） @ryunosinfx

最小ホップ数でラズパイ4の5Gbps帯域を全部使い切る、 16ノードの計算機を考えよ！ とした結果、40万コースになるのは草。 素直に16C/32Tの3950X+64GBメモリ＋GF1650なグラボなら半額という現実が辛い・・・

汝、翼を与える＠ばってん先に翼ばくれんね イベント・・（parody） @ryunosinfx

ケース抜きで計算しても46万は硬かった。 ラズパイ１台に2.3万かかってそれが16台というのが諸悪の根源・・・

汝、翼を与える＠ばってん先に翼ばくれんね イベント・・（parody） @ryunosinfx

一方で、ガジェットモードで GigabitNIC＋USB2.0の1.5Gbps使うプランだと 36万ぐらいか・・・ ※500GBのSSDを４台使うラズパイ16台+データ専用機4台プラン。 8口ハブを３台用意。これならG4Cubeに入らないことはない。 尚、電源12V→5V変換のDCDCコンバーターはコレを使う。 elecom.co.jp/products/MPA-C…

汝、翼を与える＠ばってん先に翼ばくれんね イベント・・（parody） @ryunosinfx

software.intel.com/content/www/us… ラズパイが８個の場合、SkayLakeの８way構成が成立すると。４個のNICで2hopで必ず到達可能と。 16個の場合も同じなんだけどね。 ただ、このネットワーク構成にすると １ラズパイに１ネットワークが存在して 各ラズパイは５個のネットワークへのルーティングテーブルを持つと

汝、翼を与える＠ばってん先に翼ばくれんね イベント・・（parody） @ryunosinfx

もう一つの回答としてリングバス構成にする ＝16口のスイッチングハブに繋ぐ なんだけど、 ・スイッチングハブがでかい ・5Gbpsの帯域を使い切るには5Gbps以上のUSBNICが必要だが売ってないし ・5Gbpsの１６口スイッチングハブは売ってない ・1Gbpsでは使いきれてない 等の壁が有って萎えるのである

汝、翼を与える＠ばってん先に翼ばくれんね イベント・・（parody） @ryunosinfx

もちろん お前、使い道ない言ってるやん なので、そもそもネットワークがショボい安い構成でも良いんじゃないか説が頭をもたげる。 しかし至高を手にしなければ労力をかける意義が無い やはりワークロードが何かがわからないと駄目か。 なんでも出来るんだけど、そのなんでもやってます？ から何だよな

汝、翼を与える＠ばってん先に翼ばくれんね イベント・・（parody） @ryunosinfx

モノシリックなPCにラズパイの様な小型PCの集合体が 価格的競争力を持つには ①内部バスと同等な当代最速NICの搭載 ②ハブの低価格化 ③メモリが1DIMM最高容量の1/4を搭載 ④１ラズパイノード構成ユニット単価が合計１万 ⑤CPUコア数がPCの1/8以上 をクリアしした時かな 今は③以外クリア出来ていない

汝、翼を与える＠ばってん先に翼ばくれんね イベント・・（parody） @ryunosinfx

AMDがRyzenを出せずに、Intelの天下が続いていれば ⑤も余裕だった。 なので、次のラズパイが5GbpsNICを搭載して 5Gbpsの16口ハブが3万とかで買えて ラズパイのお値段がそのままだと、流行するように思われる。 まあCPUももう少し6コアとかにパワーアップしてくれるといいんだけど。

汝、翼を与える＠ばってん先に翼ばくれんね イベント・・（parody） @ryunosinfx

misoji-engineer.com/archives/raspb… ラズパイ4のサイズを考えると 56x85なので、170mm立方のサイズに20台入るかという問題も有る。 170x170mmのフットプリントに6枚入る。 ただし長辺対面で170mmちょうどになるので、裏返す必要が有る。 また、厚さがUSB2ポートコネクタのサイズなので20mmは必要になる。

汝、翼を与える＠ばってん先に翼ばくれんね イベント・・（parody） @ryunosinfx

通風を考えると更に5mmをあけて、25mm/6台 ３枚で18台、20台なので５台ずつ４枚、100mm 残りの70mmで、Flex電源とSSD４台、８口スイッチングハブ３台、USBハブと、DCDCコンバーターと。 buffalo.jp/product/detail… このハブじゃないと入りそうにないな・・・ 電源もFlex電源からもらう形で。