-
- いいね！0
SODA Noriyuki
@n_soda
このインフラで可視化した例 ・ひまわり8号 ・太陽放射（太陽データコンソーシアム） ・気象レーダー（高知大レーダー、JRCレーダー） ・読売新聞140年DB可視化…各トピックの時系列での出現頻度を可視化 ・科学衛星GEOTAIL ・エピゲノム ビューア #gfarm2015
2015-12-14 16:19:40
SODA Noriyuki
@n_soda
HbVRS (Hight-bandwidth Virtual Remote Storage) 高速仮想遠隔ファイルシステム Gfarm とのデータ転送を、通常の TCP から UDP ベースのプロトコル (UDT) に入れ換え。 #gfarm2015
2015-12-14 16:29:49
SODA Noriyuki
@n_soda
UDT に対して、遅延とデータ損失に対する耐性を上げた通信プロトコル HpFP を作成。 10Gbps、RTT 500ms・損失率1% でワイヤレートを出せる 9本並列通信で90Gbps。 ストレージにあるデータでも 37ノードで 20GB/sec。 #gfarm2015
2015-12-14 16:30:33
SODA Noriyuki
@n_soda
以下、Gfarmと関係ないGpFPの話 以上は、大きなファイルの転送の話。実用上は、小さなファイルの転送が大事。 よくあるツール:先に大きなファイルにまとめてから並列転送。 #gfarm2015
2015-12-14 16:38:35
SODA Noriyuki
@n_soda
1GB×1ファイル 1MB×1000ファイル [Mbps] hpcopy(HpFP) ロス有 501 512 ロス無 988 992 rcp ロス有 13 8 ロス無 846 17 1Gbps回線 #gfarm2015
2015-12-14 16:40:18
SODA Noriyuki
@n_soda
Q: TCPとの比較でいつも問題になる公平性は？ A: 現行未実装。年度末を目処に実装したい。ただし、通常のインターネット用と、特殊な高帯域・大遅延環境でモードを分けるかも #gfarm2014
2015-12-14 16:43:02
SODA Noriyuki
@n_soda
株式会社TransWAREと合併。大学等で導入されている。Active mail のベンダー。 transware.co.jp/product/am/ transware.co.jp/avss_service/ #gfarm2015
2015-12-14 16:50:05
SODA Noriyuki
@n_soda
Active! World - Active mail を提供するクラウド型メール統合サービス 2013年の第1.5世代から、メールのストレージ部分にGfarmを採用 安価にI/O性能を稼ぎたい→davecot のストレージを Gfarm で提供。 #gfarm2015
2015-12-14 16:56:23
SODA Noriyuki
@n_soda
メリット ・スケールアウトが可能 ・ストレージ製品と比べて安価 ・ストレージノードのサーバーに安価 ・メールのような大量のデータも高速に参照が可能実験 #gfarm2015
2015-12-14 17:01:50
SODA Noriyuki
@n_soda
デメリット ・運用事例が少なく、ノウハウが得難い ・dovecot にパッチを当てているので、そこの保守コストはかかる ・メタデーターサーバーに高スペックが要求される #gfarm2015
2015-12-14 17:02:57
SODA Noriyuki
@n_soda
Gfarm に保存するデータ: メールデータ ・gfarm APIを使用し、dovecotが3台のノードに書き込む。 ・読み込みもgfarm APIを使用 Dovecotのインデックスやキャッシュはローカルディスク #gfarm2015
2015-12-14 17:04:54
SODA Noriyuki
@n_soda
メタサーバーに高スペックが要求される CPU: 80 processor。Xeon E7-4870 2.4GHz×4 メモリ: 192GB ディスク: Fusion-io ioDrive Duo 640GB #gfarm2015
2015-12-14 17:05:07
SODA Noriyuki
@n_soda
メタサーバーは高スペック…とは言っても、現在はまだまだ余裕ある。 30KB×3〜4億ファイル。 CPUは現在、ほとんどアイドル。 メモリ使用量は半分くらい。 I/Oは 700IOPS程度。（10%程度） ネットワーク: 200Mbps #gfarm2015
2015-12-14 17:09:08
SODA Noriyuki
@n_soda
トラブル事例: ・nodeサーバー1台でディスク障害: gfarm的にはread-onlyとなっており、スケジュール対象とならずに問題なく稼働 ・fusionIO のハードウェア障害: メタデータサーバーの切替えで対処（当時は自動フェイルオーバー未設定） #gfarm2015
2015-12-14 17:11:28
masa16
@masa16tanaka
Gfarmシンポ終了。次は渋谷 Workflow Hacks! #1 eventdots.jp/event/574963
2015-12-14 17:14:36