-
- いいね！0
Masahiro Tanaka 田中昌宏
@masa16tanaka
今日はこちらに参加> Gfarmワークショップ2015 oss-tsukuba.org/event/gw2015
2015-09-04 13:31:00
SODA Noriyuki
@n_soda
Gfarm ワークショップ 2015、ハッシュタグは #gfarm2015 oss-tsukuba.org/event/gw2015でいいかしら。
2015-09-04 13:36:12
SODA Noriyuki
@n_soda
Gfarm 2.5.8.5 データ完全性。ファイル破損を検知。ファイル全体の secure hash 値 (設定によって md5, sha1, sha256…) を計算してメタデータに保存。 #gfarm2015
2015-09-04 13:43:44
SODA Noriyuki
@n_soda
Gfarm の実装: gfmd:メタデータサーバ。更新はジャーナルへの書き込み完了を待って応答を返す。スレーブgfmdへ同期は、ジャーナルファイルを転送。クライアントへの返答は、同期スレーブへの転送完了後。ただし非同期スレーブの返答は待たない。#gfarm2015
2015-09-04 14:15:10
SODA Noriyuki
@n_soda
Gfarm の実装: gfsd I/O サーバ。データを保持する。メタデータは保持しないので、ファイルの改名・移動・chmod/chown などでは gfsd へアクセスしない。secure hash 計算もする #gfarm2015
2015-09-04 14:18:43
SODA Noriyuki
@n_soda
複製数維持: 足りなければ自動で増やす(gfarm-2.5.8から)。多過ぎれば自動で減らす機能は gfarm-2.6.5から（複製数維持、および自動で減らす機能は個別でオンオフできる) #gfarm2015
2015-09-04 14:27:02
SODA Noriyuki
@n_soda
自動マウントの例: ファイル /etc/auto.master「/gfarm /etc/auto.gfarm」、ファイル /etc/auto.gfarm「* -fstype=gfarm2fs,username=& :/etc/gfarm2.conf」#gfarm2015
2015-09-04 14:46:44
SODA Noriyuki
@n_soda
ネットワークファイルシステムの比較。NFS、分散ファイルシステム、Gfarm ファイルシステム。 Gfarm は分散ファイルシステムだが、ローカルファイルのアクセス機能があるところが違う #gfarm2015
2015-09-04 14:49:07
SODA Noriyuki
@n_soda
Pwrake の構成: master と slave (pwake worker)。共有ファイルシステムとして Gfarm を使うと、データの実体を持つマシンにジョブをスケジュールする。#gfarm2015
2015-09-04 14:56:51
SODA Noriyuki
@n_soda
ローカルアクセスの向上: ローカルアクセスするようタスクを分割する際に、カットする辺の数を最小にするようなグラフ分割のアルゴリズムを使用。ローカリティ無考慮:ナイーブ:辺数最小 = 87.9 : 47.4 : 14.0 #gfarm2014
2015-09-04 15:00:08
SODA Noriyuki
@n_soda
今はgfarm2fs(Linux の FUSE機能)経由でgfarmを利用している人が多い。gfarm2fsはカーネル←→ユーザーランド間のスイッチによるオーバーヘッドがある。というわけで、カーネル版を実装した。 #gfarm2015
2015-09-04 15:32:19
SODA Noriyuki
@n_soda
mount -t gfarm -o conf_path=/etc/gfarm2.conf,luser=gfarm /dev/gfarm /mnt/gfarm カーネルモジュールは linux デバイスとして見える。/dev/gfarm はそのデバイス名。#gfarm2015
2015-09-04 15:37:58
SODA Noriyuki
@n_soda
gfarm カーネルモジュールに Infiniband 経由の RDMA 機能を追加した。RDMA処理は、linux kernelのworkqueueを使って非同期実行。#gfarm2015
2015-09-04 15:50:26
SODA Noriyuki
@n_soda
質問: 現状のgfarmは、ユーザー権限ごとに別にマウントする必要があるが、単一のマウントで複数のユーザーからアクセスできるようにならないか？ 答: 現状まだ。結構実装コストがかかる #gfarm2015
2015-09-04 16:04:49
Takahiro Kitayama
@kitayama_t
今これをやっているのか。/ 9月4日 Gfarmワークショップ2015(兵庫県) kokucheese.com/event/index/32…
2015-09-04 16:23:00
SODA Noriyuki
@n_soda
報道されたようなインシデントはあったけれど、Gfarmは最も安全な広域ファイルシステム(silent data corruptionがあったが、secure hashがついていたおかげで影響を限定できた) #gfarm2015
2015-09-04 16:54:28
SODA Noriyuki
@n_soda
原田さんの枠内で、AICSの秘密兵器 金山さんの発表。Zabbix を使った Gfarm の監視 #gfarm2015
2015-09-04 16:56:19
SODA Noriyuki
@n_soda
gfarm_zabbix と、zabbix 標準の template linux を組み合わせて使っている（現状の gfarm_zabbix だと被ってるところがあるので調整が）必要 #gfarm2015
2015-09-04 16:58:51