Gfarmシンポジウム２０１８

SODA Noriyuki @n_soda

オブジェクトストレージ、AI＋IoT＋映像における利用事例 クラウディアン株式会社　取締役COO 本橋 信也 #gfarm2018

SODA Noriyuki @n_soda

クラウディアン株式会社: 日本で作ったが、今は本社はシリコンバレーだし顧客も海外の方が多い The register は世界最大のオブジェクトストレージ企業になったという評価 #gfarm2018

SODA Noriyuki @n_soda

HyperStore - マルチテナント - QoS 課金・統計 - データ保護 - 圧縮 - 暗号化 - オブジェクトとファイル - マルチクラウド階層化 欧州自動車製造業 - S3 API互換な社内ストレージ - エクサバイト近い容量を予定 #gfarm2018

SODA Noriyuki @n_soda

Cloudian AI BOX の紹介 NVIDIA Jetson TX1 を使ってエッジで画像認識 → クラウドの HyperStore に #gfarm2018

SODA Noriyuki @n_soda

Scalityと大規模オブジェクトストレージの運用の実際のご紹介 スキャリティ・ジャパン株式会社　セールスエンジニア　仁戸 潤一郎さん #gfarm2018

SODA Noriyuki @n_soda

2009年フランスで創業 メールアーカイブ用のストレージから発展 2つの主な製品 - ZENKO: オープンソースのマルチクラウドデータ管理ソリューション zenko.io - RING: オブジェクトストレージ 以下、RINGの説明 #gfarm2018

SODA Noriyuki @n_soda

software defined storage: 汎用x86サーバーを利用 multi protocol: S3 API, NFS, SMB 高い信頼性と無停止運用 マスターは存在しない 分散配置: CHORD分散ハッシュテーブル キー空間は円環状 100ノードで3hop、10000ノードで7hopでデータに到達 #gfarm2018

SODA Noriyuki @n_soda

ノードごとにIDを持ち、前のノードと自ノードの間のIDのキーを持つデータを担当 ノードがダウンすると、その次のIDを持つノードが、代役となる（担当するキーの範囲が増える） サーバーダウン時にすべてのサーバーに均等に負荷が増えるようにサーバー配置をシミュレーションして決めている #gfarm2018

SODA Noriyuki @n_soda

■メンテナンスタスク - Balance: ノードが追加されると担当するキーの範囲が変わるので、配置を調整する - Proxy - Rebuild: 定期的にレプリカを更新する - Repair: ディスク障害が発生した時に、冗長性を提供する #gfarm2018

SODA Noriyuki @n_soda

- Purge: データ削除されると IOデーモンが管理するメタデータに論理削除フラグを付与するが、Purgeは物理削除を担当する - Relocation: コンテナファイル内に複数のオブジェクトが格納されているが、削除によって発生したフラグメンテーションを解消する #gfarm2018

SODA Noriyuki @n_soda

■バックグラウンドタスクの負荷調整 - スループットで制御 - 同時に実行するタスクで制御 - キースペースの割り当てで制御 - 時間で制御 #gfarm2018

SODA Noriyuki @n_soda

■顧客 - 54PBまでの実績 - クリティカルなシステムを支えている: KDDI の iphone 用メールストレージ - 2010年からダウンタイム・ゼロで利用している顧客が存在する #gfarm2018

SODA Noriyuki @n_soda

HPCI共用ストレージにおけるディザスタリカバリ、データ二重化運用による高可用性と災害対策の実現 国立研究開発法人理化学研究所　開発研究員　原田 浩さん #gfarm2018

SODA Noriyuki @n_soda

- 8月23日深夜、台風20号の影響で理研神戸で電源障害発生 - 8月31日18時 落雷の影響で東大柏キャンパスで停電発生 といったトラブル対処も含んだ現場の話 #gfarm2018

SODA Noriyuki @n_soda

■HPCI共用ストレージ - 全国のHPCI計算機資源からデータ共有可能な単一ファイルシステム - 物理的には100PB。二重化しているので論理的にはその半分 - 利用課題公募中なので、ぜひ応募して欲しい #gfarm2018

SODA Noriyuki @n_soda

■昨年度HPCI共用ストレージの機材更新完了 - metadata多重化: 東(東大)と西(理研神戸)にmasterとslaveを設置(以前から) - data東西間二重化 (更新前は、容量不足のためユーザー側に多重度を 設定してもらっていた) - data完全性check: 書き込み完了の数時間後に読み直してverify(以前から) #gfarm2018

SODA Noriyuki @n_soda

■8月24日理研神戸(R-CCS)の台風による設備障害 - 電力設備に水が入って、京向けの電力供給が停止 - 仮復旧したが復旧作業のため電源供給停止の要請 - 東大と打ち合せて R-CCS側ストレージの停止を決定 - R-CCSで動いていたmaster metadata serverを、東大にfailover サービス停止なし #gfarm2018

SODA Noriyuki @n_soda

■8月31日東大の落雷 - 柏キャンパス全域がいきなり停電 - master metadata serverはR-CCSだったので問題なかった - 念のためReadOnly運用開始 - 9月3日〜4日に神戸付近を台風通過のためR-CCSも安全運用 - 9月5日ReadOnly運用解除 落ちたマシンの全ファイルについてチェックサム照合を実施 #gfarm2018

SODA Noriyuki @n_soda

■計画停電・ドメイン変更メンテナンス - ドメイン名変更、IPアドレス変更があったため、その作業中は停止した #gfarm2018

SODA Noriyuki @n_soda

■ディザスタリカバリ - メタデータサーバは冗長化で対応中 - ReadOnly運用を減少させたい - 複製数2(東西1つずつ)なので、東西両方でそれぞれ1台が同時に停止すると、アクセスできないファイルが発生する - SINETが理由のアクセス不能がある #gfarm2018

SODA Noriyuki @n_soda

パネル：ポストムーア時代のストレージシステム ムーアの法則が終了する時代の 1. ストレージへの要求と問題点 2. その問題点を解決するために必要な技術、デバイス 3. ストレージの向かうべき方向 について #gfarm2018

SODA Noriyuki @n_soda

■産総研 佐藤　仁さん 外国のスパコンの大御所に意見を聞いたら「ストレージなんかどうでもいい」との返事w #gfarm2018

SODA Noriyuki @n_soda

- 演算装置の近くの高速メモリ、不揮発性メモリを活用 - コンテナ利用がデフォルト - コンテナ内から実行時に動的にマウント ABCIとは別の産総研内スパコンでは、ストレージのメタデータアクセスがネックとなって性能が出なかった。 #gfarm2018

SODA Noriyuki @n_soda

■富士通 住元 真司さん どんなアーキテクチャ？ - 従来と同じデジタルコンピュータ - 昔からあるアナログコンピュータ方式をもう一度 - Neuro-inspired computing - 量子コンピュータ 今後のストレージデバイス - MRAM, ReRAM, FRAM, PCM, 3D-Xpoint - NVDIMM-N と NVDIMM-P #gfarm2018

SODA Noriyuki @n_soda

エクサスケール時代以上の - 容量とバンド幅 - さらなる電力制約 - データの移動を抑制する - DRAMの電力を抑制しながらの大量データ処理 Storage Class Memory の利用 - 一桁多いデータ量 蓄積型から Streaming 型への転換 #gfarm2018