編集部が選ぶ「みんなに見てほしい」イチオシまとめはこちら

Gfarmシンポジウム2016

http://oss-tsukuba.org/event/gs2016 2016-12-09 13:30-17:00 筑波大学文教キャンパス
エンタープライズ Gfarm HPC
767view 0コメント
2
SODA Noriyuki @n_soda
Gfarmシンポジウム2016 oss-tsukuba.org/event/gs2016 @ 筑波大学東京キャンパス文京校舎 ハッシュタグはワークショップと同じだけど #gfarm2016 でいいかしら。
SODA Noriyuki @n_soda
懇親会は17時30分からに変更になりました #gfarm2016
SODA Noriyuki @n_soda
Gfarmファイルシステムの概要と最新機能 筑波大 建部先生 #gfarm2016
Masahiro Tanaka 田中昌宏 @masa16tanaka
ということで今日は筑波大in東京
SODA Noriyuki @n_soda
2000年から開発。SuperComputingカンファレンスで3回授賞(SC03, SC05, SC06)、OSS。 サポート 日本: oss-tsukuba.org 他、オーストラリア: Libre Solutions Pty Ltd #gfarm2016
SODA Noriyuki @n_soda
特徴: 広域での利用、性能・容量がスケールアウト、単一障害点なし、無停止で拡張、更新可能、silent data corruption 検知 #gfarm2016
SODA Noriyuki @n_soda
利用: JLDG (7PB、8拠点)、HPCI共用ストレージ(22.5PB、3拠点)、NICTサイエンスクラウド、クオリティア社 Active! world #gfarm2016
SODA Noriyuki @n_soda
Pwrake ワークフローシステム、MapReduce、MPI-IO、バッチキューイングシステム #gfarm2016
SODA Noriyuki @n_soda
最近のリリース: Gfarm-2.7.0 (InfiniBand RDMA, ディレクトリ・クォータ)、2.6.15 (OpenSSL-1.1.0サポート)、2.6.14 (gflsofコマンド) 2年間で16バージョン(ほぼ2カ月に一回リリース) #gfarm2016
SODA Noriyuki @n_soda
2.7.0 の新機能: InfiniBand RDMA サポート。CPU負荷が低い。 IB Verbs によるRDMA - pindown したメモリ間で転送。 static - pindown メモリとして、事前に登録した内部バッファを使う #gfarm2016
SODA Noriyuki @n_soda
dynamic - ユーザーバッファを動的に pindown する static dynamic - RDMA用にバッファを確保するが、転送サイズがバッファ以上の場合は動的に pindown する IB通信に失敗したらIPにフォールバック #gfarm2016
SODA Noriyuki @n_soda
設定ファイル ib_rdma enable / disable … Infiniband RDMA の有効無効を指定。configure 引数に --with-infiniband を指定した場合はデフォルトで enable #gfarm2016
SODA Noriyuki @n_soda
設定ファイルつづき rdma_mr_reg_mode … static 又は dynamic 又は static dynamic を指定 #gfarm2016
SODA Noriyuki @n_soda
FUSE (gfarm2fs) で direct_io オプションを指定すると、1ストリームあたり 1GB/s 書き込み、1.2GB/s 読み込み #gfarm2016
SODA Noriyuki @n_soda
2.7.0の新機能: ディレクトリクオータ機能 ディレクトリ単位で、使用ディスク容量を制限できる。一般ユーザー権限で設定可能。 複数のディレクトリの集合 dirset が制限の単位。 #gfarm2016
SODA Noriyuki @n_soda
gfdirquotaコマンド: 新設。dirset の作成、ディレクトリのdirsetへの登録等 gfquota/gfedquotaコマンド: 従来からのユーザーやグループクオータに加えて、dirsetも指定可能に #gfarm2016
SODA Noriyuki @n_soda
制限事項 パーティションに似た制限あり - 異なるディレクトリセット間でのハードリンクはできない - 異なるディレクトリセット間でのディレクトリ移動はできない - dirset に登録するディレクトリは空でないといけない #gfarm2016
SODA Noriyuki @n_soda
gfarmroot権限があれば、後の2つの制限はないが、gfmdに負荷がかかる #gfarm2016
SODA Noriyuki @n_soda
2.6 のデータ完全性のおさらい - silent data corruption の検知 - 逐次書き込み時に digest (md5, sha1, sha256) を計算しメタデータとして保存 #gfarm2016
SODA Noriyuki @n_soda
- 逐次読み込み時に gfsd で digest 検査。破損ファイルは読み込み時に EIO (input/output error、Gfarm APIだと checksum error) を返して /lost+found へ移動 #gfarm2016
SODA Noriyuki @n_soda
- write_verify 書き込み/複製処理後、しばらくたってから読み直してメタデータ上のdigestと整合するか確認 #gfarm2016
SODA Noriyuki @n_soda
設定 gfmd.conf「digest md5」 gfsd側 gfarm2.conf「write_verify enable」 クライアント側: gfarm2.conf 「client_digest_check enable」end-to-end での検査 #gfarm2016
SODA Noriyuki @n_soda
JDLGにおける運用例 7.8PB中7.2PB利用。7拠点、39ファイルサーバー 2016年8月19〜22日 write_verifyで 5ファイルの破損を検知。OSレベルでは I/O エラーが出てないので、検知されてなかった #gfarm2016
残りを読む(41)
ログインして広告を非表示にする
ログインして広告を非表示にする