ラズパイクラスターと聞いて(ガタッ！)

汝、翼を与える＠ばってん先に翼ばくれんね イベント・・（parody） @ryunosinfx

ラズパイのクラスタはなーお仕事がないねんなー。お仕事があればなー。なんか面白いこともできるんやけどなー。あんだけの部品を集めると故障率がなー。いや故障してもええねんけど、なーキッティングがなー。買ってきて数分で運用可能になればなー。

汝、翼を与える＠ばってん先に翼ばくれんね イベント・・（parody） @ryunosinfx

まず、ラズパイはスマホの数分の１しか処理能力がない。この時点で萎えー要素なのでは有る。メモリも数分の１しか積んでないのでしょうがない。唯一の強みは自由なソフトウェが使える。この１点。自由があれば不利は埋められる？もちろん！でもかかる材料費は同じぐらいにはなる。

汝、翼を与える＠ばってん先に翼ばくれんね イベント・・（parody） @ryunosinfx

例えば最新のスマホであるiPhonXSとかGeekBentchが10000超えでラズパイ3B+は1270なのでその・・・８匹集めてきて瞬間最大同じ処理ができることに成る。もちろん、ベアメタルでいろいろ間を省けばその限りではないが、問題はもひとつ有って、そのI/Oの帯域が根本的に足りないという現実

汝、翼を与える＠ばってん先に翼ばくれんね イベント・・（parody） @ryunosinfx

まずIOがUSB2.0x1とWLAN、microSDしかない。高密度運用を考えると、どっちにせよ有線のUSB2.0の実行速度34MB/sしかない。ちなみにUSB3.0で130MB/s、USB3.1で250MB/sぐらいか。PCIe3.0 ｘ１で8GbpsだからNVMeで800MB/sぐらいは出る。そう、圧倒的に遅いのである。

汝、翼を与える＠ばってん先に翼ばくれんね イベント・・（parody） @ryunosinfx

ラズパイの次の問題はmicroSDの耐久性の低さである。そもそも一回書いたらそのまま、偶に書き換えるぐらいの用途を想定した媒体なので、ここをLinuxのパッケージマネージャとかスワップで頻繁に書き換えたりするとすぐ死ぬ。なので事実上当てに出来ない。じゃあUSBから起動するのか？

汝、翼を与える＠ばってん先に翼ばくれんね イベント・・（parody） @ryunosinfx

USBから起動するとしてもその辺のUSBメモリでは根本的な解決にはならない。なぜならmicroSDとUSBメモリは同じフラッシュメモリ。そこでじゃあHDD繋げたら？なのだが、８台分用意するのかね？しかも電気も食うぞ？じゃあSSDは？高いよ・・・３２MB/sならプチフリしなければ何でも良いんだけどね・・

汝、翼を与える＠ばってん先に翼ばくれんね イベント・・（parody） @ryunosinfx

そこで、PXEに対応したのでネットワークブートという話になる。ネットワークブートをすると、microSDを買わなくても良い反面、ディスクがネットワークの向こう側にあるので３４MB/sの貴重な帯域を消耗することになる。一方で集約先のストレージがランダムアクセスに対して有能なら希望は有る。

汝、翼を与える＠ばってん先に翼ばくれんね イベント・・（parody） @ryunosinfx

ストレージサーバーを立ててネットワークブート、OSイメージを格納したストレージサーバーにはOptane SSD 800Pなど小口ランダムアクセスに異常に強いSSDを使用して痛みを軽減する。軽減ね。ラズパイ３B+のGigabitなLanは300Mbpsぐらいなので、１本で４台は面倒が見れると。

汝、翼を与える＠ばってん先に翼ばくれんね イベント・・（parody） @ryunosinfx

したがってマイニング用のマザーを買ってきてNICを差しまくれば、ストレージ問題はある程度は解消する。 ark-pc.co.jp/i/12102697/ これなんて１８個も面倒が見れるぞ！７２台は繋げられる！ まあ事実上PCがソフトウェアハブ化するんだけど、これって性能が出るもんなんだろうか・・・この辺は謎

汝、翼を与える＠ばってん先に翼ばくれんね イベント・・（parody） @ryunosinfx

でラズパイの消費電力はというと１個１０W。７２台だと７２０W。意外と行ける。これにストレージマシンを加えて電源は６００W級３連装あたりが妥当なのだろうか。ハブを使わないというのは中々魅力的な話だが、もうすこし現実的なレベルで考えるとマシンは小さいほうが良い、予算は２０万とするとしよ

汝、翼を与える＠ばってん先に翼ばくれんね イベント・・（parody） @ryunosinfx

ラズパイ3B+をお安く入手出来たとして１台５０００円、したがって最大40台買える。が他にもエンクロジャー代やストレージマシン代、電源や電源回路代、USB電源ケーブルやLANケーブル、スイッチ代などが必要に成る。意外と積み上げると辛い。なので真顔に戻るのでも有る。

汝、翼を与える＠ばってん先に翼ばくれんね イベント・・（parody） @ryunosinfx

更に悩ましいのがジャンクスマホの存在で、同じお値段で5倍の性能のマシンがソフトウェア層が不自由で腐りかけだが手に入るという現実が有る。2倍のオーダーで処理が遅い処理系を通してもお釣りが来る。さらに、スマホはラズパイより圧倒的にありふれている点も大きい。掃いて捨てるほど有るのである

汝、翼を与える＠ばってん先に翼ばくれんね イベント・・（parody） @ryunosinfx

そんなことを言っても始まらないので、まずはエンクロージャー。幸いにしてサイズがカードサイズ（54ｘ85mm）である。したがって、名刺サイズ(55x91mm)の何か、カードケースを基盤に出来る。加工が面倒くさいので硬い透明のプラスチック製で安くて、大量に入手可能なものが望ましい。

汝、翼を与える＠ばってん先に翼ばくれんね イベント・・（parody） @ryunosinfx

で、これに電源用のUSB延長ケーブルを仕込むのである。電源はラズパイの真横に付いており、LANコネクタの方向に出し入れを想定すると同じ軸にコネクタを方向を合わせておくとエンクロージャーへの固定が容易になる。このトレーに固定、トレーに合わせたガイドをエンクロージャーに持たせて挿入OKが理想

汝、翼を与える＠ばってん先に翼ばくれんね イベント・・（parody） @ryunosinfx

エンクロージャー側はUSBーAのメスコネクタを所定の位置に固定できるように備え付けておいて電源につなぐ。この時、物理スイッチを間に挟んでおけば尚管理は楽になる。（まあ緯さしすればいいとは言える）でもエンクロジャー側からは同時にLANケーブルも出ていてそちらにも接続されるので

汝、翼を与える＠ばってん先に翼ばくれんね イベント・・（parody） @ryunosinfx

先のLAN転送速度の計算から4台で１ノード、ストレージマシンPCの１NICに５口Hub経由で接続される。ストレージマシーンには300Mbpsで4Kランダムだとジャンボフレーム９０００でまあ1/２、で３７．５K IOPS、４台で150K IOPS、でIntel OPTANE SSD 800Pだと250K IOPS、145K IOPS、ちょうと１台で釣り合う

汝、翼を与える＠ばってん先に翼ばくれんね イベント・・（parody） @ryunosinfx

もちろんこれはみんなでフルロードアクセスしてもLANの繋がってるUSB2.0回線が先にボトルネックになるから大丈夫なんだけど。そうしょっちゅうフルロードにはならないとすると８台ぐらい行けるんじゃね？という感じはする。したがってNVMeなSSDを８台ごとに用意するのが良く、４台ごとが至高となる。

汝、翼を与える＠ばってん先に翼ばくれんね イベント・・（parody） @ryunosinfx

となると、１６台のラズパイクラスタを構成しようとすると、追いインテルNIC４個、５口ハブ４個、LANケーブル２０本、PCIEが４個以上でNVMeなM2スロット２個なママン、インテルOPTANE 800P SSD が２個にSSDが追加で１個、５００W級電源が１個、ファンが４個、CPU１個、メモリ２本、クーラー１個か・・

汝、翼を与える＠ばってん先に翼ばくれんね イベント・・（parody） @ryunosinfx

ラズパイ１６個ｘ5K、NIC4個x4K、Hub4個x4K(メタル、電源内蔵)、LANケーブルx0.25Kx20個、OPTANE 800P2個x25K、ママン1個(AM4なATX ark-pc.co.jp/i/12201118/)x13K、ssd１個x5K、メモリ16GB2個x20K、CPU（Ryzen2400G）１個x18K、電源1個x8K、USBコネクタ１６個x0.1K、USB延長１６個x0.1K

汝、翼を与える＠ばってん先に翼ばくれんね イベント・・（parody） @ryunosinfx

254.2Kまあ２５万かかる訳ですね。うちPCがメモリとCPUコアを半分にして、NICを蟹にしてハブを安いプラスチック製に、電源をグレードを落とすとすると、２０万にはなんとか収まりそう。ただ、DCDCコンバーターとケース、DIYエンクロジャー代が更に加わる。じゃあそこは幾らになるや？

汝、翼を与える＠ばってん先に翼ばくれんね イベント・・（parody） @ryunosinfx

strawberry-linux.com/catalog/items?… この製品が欲しかったものっぽいけど、高い・・・１６個x1.3Kなので2.1万円、 akizukidenshi.com/catalog/g/gM-0… を３個x3.8Kで買って1.２万なので、５-6個づつ分配か間にダイオードかまして並列にした方が良いんじゃないか疑惑がある。ただUSBコネクタや壊れた時の交換を考えると・・

汝、翼を与える＠ばってん先に翼ばくれんね イベント・・（parody） @ryunosinfx

パーツが細かいほうが良いような気もするが、これね汎用性が犠牲になってる感が・・・２．５Aでラズパイが我慢してくれればいいけど、次のバージョンで、メンゴメンゴ３Aは今時無いと〜動かないよねテヘペロッ！って言われると詰む。実際順調に電力要求が上がっているので辛い。なので、仕方なく後者に

汝、翼を与える＠ばってん先に翼ばくれんね イベント・・（parody） @ryunosinfx

となると、PC側の電源要求もゆるくなるからまあ3.5Kぐらいの動物電源でもいいような気がする。結局PCケースに同梱するもハブの電源やらラズパイの電源やらでAC100Vのコンセントをケース内タブで分岐させる必要が有るのでタップも買わねば。 news.kakaku.com/prdnews/cd=kad… 冷却も考慮した空間効率的にこれか

汝、翼を与える＠ばってん先に翼ばくれんね イベント・・（parody） @ryunosinfx

最終的にCADで書いた方がいいんだろうが、女の子居ないと注目されないので絵で書いてみた。で、やっぱり自作する範囲が結構有るのでしんどいなと思うのです。お金も２０万以上は覚悟が必要だし・・・メモリとNICがもう少し安くなっていればぁな・・・２年ぐらい前ならもうちょっと安かった。 pic.twitter.com/u5xnjKjDj5

拡大