-
- いいね！0
SODA Noriyuki
@n_soda
Gfarmシンポジウム2016 oss-tsukuba.org/event/gs2016 @ 筑波大学東京キャンパス文京校舎 ハッシュタグはワークショップと同じだけど #gfarm2016 でいいかしら。
2016-12-09 13:19:06
SODA Noriyuki
@n_soda
2000年から開発。SuperComputingカンファレンスで3回授賞(SC03, SC05, SC06)、OSS。 サポート 日本: oss-tsukuba.org 他、オーストラリア: Libre Solutions Pty Ltd #gfarm2016
2016-12-09 13:36:29
SODA Noriyuki
@n_soda
特徴: 広域での利用、性能・容量がスケールアウト、単一障害点なし、無停止で拡張、更新可能、silent data corruption 検知 #gfarm2016
2016-12-09 13:37:48
SODA Noriyuki
@n_soda
利用: JLDG (7PB、8拠点)、HPCI共用ストレージ(22.5PB、3拠点)、NICTサイエンスクラウド、クオリティア社 Active! world #gfarm2016
2016-12-09 13:40:48
SODA Noriyuki
@n_soda
Pwrake ワークフローシステム、MapReduce、MPI-IO、バッチキューイングシステム #gfarm2016
2016-12-09 13:43:23
SODA Noriyuki
@n_soda
最近のリリース: Gfarm-2.7.0 (InfiniBand RDMA, ディレクトリ・クォータ)、2.6.15 (OpenSSL-1.1.0サポート)、2.6.14 (gflsofコマンド) 2年間で16バージョン(ほぼ2カ月に一回リリース) #gfarm2016
2016-12-09 13:46:25
SODA Noriyuki
@n_soda
2.7.0 の新機能: InfiniBand RDMA サポート。CPU負荷が低い。 IB Verbs によるRDMA - pindown したメモリ間で転送。 static - pindown メモリとして、事前に登録した内部バッファを使う #gfarm2016
2016-12-09 13:49:37
SODA Noriyuki
@n_soda
dynamic - ユーザーバッファを動的に pindown する static dynamic - RDMA用にバッファを確保するが、転送サイズがバッファ以上の場合は動的に pindown する IB通信に失敗したらIPにフォールバック #gfarm2016
2016-12-09 13:51:24
SODA Noriyuki
@n_soda
設定ファイル ib_rdma enable / disable … Infiniband RDMA の有効無効を指定。configure 引数に --with-infiniband を指定した場合はデフォルトで enable #gfarm2016
2016-12-09 14:00:08
SODA Noriyuki
@n_soda
設定ファイルつづき rdma_mr_reg_mode … static 又は dynamic 又は static dynamic を指定 #gfarm2016
2016-12-09 14:00:41
SODA Noriyuki
@n_soda
性能POSIX API / FUSE #gfarm2016 pic.twitter.com/iA2mGnnLek
2016-12-09 14:06:52
拡大
SODA Noriyuki
@n_soda
FUSE (gfarm2fs) で direct_io オプションを指定すると、1ストリームあたり 1GB/s 書き込み、1.2GB/s 読み込み #gfarm2016
2016-12-09 14:08:00
SODA Noriyuki
@n_soda
2.7.0の新機能: ディレクトリクオータ機能 ディレクトリ単位で、使用ディスク容量を制限できる。一般ユーザー権限で設定可能。 複数のディレクトリの集合 dirset が制限の単位。 #gfarm2016
2016-12-09 14:11:21
SODA Noriyuki
@n_soda
gfdirquotaコマンド: 新設。dirset の作成、ディレクトリのdirsetへの登録等 gfquota/gfedquotaコマンド: 従来からのユーザーやグループクオータに加えて、dirsetも指定可能に #gfarm2016
2016-12-09 14:12:22
SODA Noriyuki
@n_soda
制限事項 パーティションに似た制限あり - 異なるディレクトリセット間でのハードリンクはできない - 異なるディレクトリセット間でのディレクトリ移動はできない - dirset に登録するディレクトリは空でないといけない #gfarm2016
2016-12-09 14:13:37
SODA Noriyuki
@n_soda
2.6 のデータ完全性のおさらい - silent data corruption の検知 - 逐次書き込み時に digest (md5, sha1, sha256) を計算しメタデータとして保存 #gfarm2016
2016-12-09 14:16:56
SODA Noriyuki
@n_soda
- 逐次読み込み時に gfsd で digest 検査。破損ファイルは読み込み時に EIO (input/output error、Gfarm APIだと checksum error) を返して /lost+found へ移動 #gfarm2016
2016-12-09 14:18:28
SODA Noriyuki
@n_soda
- write_verify 書き込み／複製処理後、しばらくたってから読み直してメタデータ上のdigestと整合するか確認 #gfarm2016
2016-12-09 14:19:11
SODA Noriyuki
@n_soda
設定 gfmd.conf「digest md5」 gfsd側 gfarm2.conf「write_verify enable」 クライアント側: gfarm2.conf 「client_digest_check enable」end-to-end での検査 #gfarm2016
2016-12-09 14:20:17
SODA Noriyuki
@n_soda
JDLGにおける運用例 7.8PB中7.2PB利用。7拠点、39ファイルサーバー 2016年8月19〜22日 write_verifyで 5ファイルの破損を検知。OSレベルでは I/O エラーが出てないので、検知されてなかった #gfarm2016
2016-12-09 14:20:56