-
masa16tanaka
- 955
- 4
- 0
- 0
-
- いいね！0
SODA Noriyuki
@n_soda
Gfarmワークショップ2016 oss-tsukuba.org/event/gw2016 ハッシュタグは #gfarm2016 でいきます twitter.com/masa16tanaka/s…
2016-10-21 13:46:15
SODA Noriyuki
@n_soda
Gfarm次期リリースの新機能 ディレクトリ クォータ 従来のユーザークォータ、グループクォータに加え、指定したディレクトリ配下の容量を制限できる #gfarm2016
2016-10-21 13:48:49
SODA Noriyuki
@n_soda
容量を管理する単位はdirset、ディレクトリをdirsetに追加すると管理対象になる。 仮想的なパーティションのようなもので、dirsetをまたいだハードリンクやディレクトリの移動はできない。 dirsetに登録する際はディレクトリは空である必要がある。#gfarm2016
2016-10-21 13:54:35
SODA Noriyuki
@n_soda
管理者のみ、空でないディレクトリも管理対象にしたり、dirset間のディレクトリ移動ができる。管理者に限定しているのは、容量再計算中は負荷が上昇するためで、メンテナンス期間中に行うことを想定している。 #gfarm2016
2016-10-21 14:04:10
SODA Noriyuki
@n_soda
ちなみにファイルの移動なら、容量再計算コストは定数なので、一般ユーザーでもdirset間を移動可能。(物理ディスクの場合のパーティション間移動とは異なりデータのコピーは発生せず) #gfarm2016
2016-10-21 14:06:54
SODA Noriyuki
@n_soda
年内くらいにリリースのGfarm 2.7の新機能。Infiniband 経由のRDMA RDMAできるかネゴシエーションし、無理ならIPにフォールバック 性能グラフ(ipoibが従来): #gfarm2016 pic.twitter.com/dlBrUumz74
2016-10-21 14:14:45
拡大
SODA Noriyuki
@n_soda
gfarm-2.6.12での新機能: gfarm://メタデータサーバー/パス名 へシンボリックリンクを張ることで、他のメタデータサーバーが管理するGfarmファイルシステムへアクセスすることが従来からできたが、URLに書いたメタデータサーバーが落ちると… #gfarm2016
2016-10-21 14:26:22
SODA Noriyuki
@n_soda
URLに書いたメタデータサーバーが落ちると、これまではアクセス不能になっていた。 gfarm-2.6.12からは、gfarm2.confに複数のmeradb_server_listを書けるようになりフェイルオーバー可能になった #gfarm2016
2016-10-21 14:31:53
SODA Noriyuki
@n_soda
silent data corruption対策 チェックサム計算機能は従来からあったが、gfarm-2.6.8から、書き込み後、時間をおいてから(デフォルト6時間)読み直して比較するwrite_verify設定機能が追加された。#gfarm2016
2016-10-21 14:43:39
OGAWA, Tadashi
@ogawa_tter
@n_soda (すいません先程の Twは解り難かったので Twし直します)。ユーザはデフォルト 6時間は元データを保持しておく必要があることでしょうか、その時元データは gfarmである必要があるのでしょうか、もしかしたら gfram-2.6.8に二重書き込み？
2016-10-21 15:25:45
SODA Noriyuki
@n_soda
@ogawa_tter Gfarm上に保持しているデータについて、6時間後にも残っていれば読み直してチェックする仕組みです。それまでに消されたらチェックされません。
2016-10-21 17:12:07
OGAWA, Tadashi
@ogawa_tter
.@ogawa_tter gfram-2.6.8から導入される Silent Data Corruption対策 twitter.com/n_soda/status/… gfram上に残っている元データにとのチェック (@n_soda さんありがとうございます)。
2016-10-21 17:31:15
SODA Noriyuki
@n_soda
@ogawa_tter あ、元データとの比較ではなく、gfarm上には、データと、書き込み時に計算したsecure hashが残っているので、hashを計算し直して比較するという話です。当然一致する筈なんですが、PBクラスのストレージだと稀に化けているという。
2016-10-21 17:46:16
OGAWA, Tadashi
@ogawa_tter
.@ogawa_tter 確かに、データ自体の比較だとストレージへの負荷や計算コストが多大になってしまいますね。重ね々ありがとうございます twitter.com/n_soda/status/… ファイルシステムに限らず (計算過程等でも)、耐障害性と計算コスト等とのバランスは重要。
2016-10-21 17:54:26
SODA Noriyuki
@n_soda
JLDGの7.8PBストレージで、8月19日～22日にかけてwrite_verifyにより5ファイル、自動複製時の検査により1ファイルのエラーが検出された。この中には、読み直したら正しく読めたものもあった。原因はストレージコントローラーレベルの問題を疑っている#gfarm2016
2016-10-21 14:52:10
SODA Noriyuki
@n_soda
OSレベルではエラーは出てなかった。 なお、ユーザーがデータを読んでいる時にチェックサムエラーが検出された場合はGfarmがそれをI/O errorに変換してユーザーに通知する #gfarm2016
2016-10-21 14:57:40
SODA Noriyuki
@n_soda
NPO法人つくばOSS技術支援センター oss-tsukuba.org が有償サポートを提供している #gfarm2016
2016-10-21 14:59:41
SODA Noriyuki
@n_soda
その前にチェックサム計算の性能の話を書き忘れてたので表とグラフ#gfarm2016 pic.twitter.com/eC2vUCxK1G
2016-10-21 15:18:57
拡大
SODA Noriyuki
@n_soda
OpenSSLを呼んで計算しているが、インテルが出してるライブラリを使うともっと速くなるらしい。それを直接使う？OpenSSLに取り込まれるのを待つ？#gfarm2016
2016-10-21 15:22:43
SODA Noriyuki
@n_soda
Azureの話に戻って... Microsoft Azureにはもともとストレージの冗長化機能がある。 Azure上にGfarmファイルシステムを構築して性能計測してみた #gfarm2016
2016-10-21 15:27:47
SODA Noriyuki
@n_soda
Flets接続のクライアント: アップロード57.6Mbpsおそらく回線ネック、アップロード8.8Mbps遅かった。原因未調査 Azure内Gfarmファイル複製(非並列): 10.2MB/s, チェックサムつき9.2MB/s これも遅いが原因未調査 #gfarm2016
2016-10-21 15:46:29