-
- いいね！0
Ken T. Murata
@murata4stars
GfarmとHpFPで、パケロスを伴うLFNでも10GbpsでI/Oできるストレージシステムがおおむね完成しました。高速ストレージはいくらでもあるけど、クライアントからサーバ（データセンター）までRTT 100ms＋パケロス1％でも10Gpbsだっとちょっとすごくね？
2015-12-08 22:07:33
Ken T. Murata
@murata4stars
来週月曜日は、Gfarmシンポジウム2015で発表してきます。Gfarm/Pwrakeの事例がたくさんたまってきたので、それらを紹介しようと思います。Pwrakeだけ使う事例もいろいろあり、目的に応じて使い分けています。 oss-tsukuba.org/event/gs2015
2015-12-11 12:09:56
なおっぴ
@naopi298
こっちは2003年→ 産総研：世界中のストレージを統合するグリッド基本ソフトウェア「Gfarm」を無償公開 aist.go.jp/aist_j/press_r… twitter.com/naopi298/statu…
2015-12-12 06:12:53
なおっぴ
@naopi298
13年前は707Mbpsですた→ 産総研：グリッド技術を駆使して日米拠点間での超大規模データ処理に成功 aist.go.jp/aist_j/press_r… twitter.com/naopi298/statu…
2015-12-12 05:51:53
Ken T. Murata
@murata4stars
今のひまわり8号リアルタイムWebはGfarm/Pwrakeを使っているのですが、使用コア数は75です。多いような、少ないような…。でも、そんなにすごーーーいシステムではなくても、このWebが運用できるということですね。 himawari8.nict.go.jp
2015-12-13 14:20:19
SODA Noriyuki
@n_soda
Gfarmシンポジウム2015 oss-tsukuba.org/event/gs2015 のために東京方面に移動ちゅう
2015-12-14 10:08:58
masa16
@masa16tanaka
今日はこちらに参加> Gfarm Symposium 2015 oss-tsukuba.org/event/gs2015
2015-12-14 13:32:17
SODA Noriyuki
@n_soda
Gfarm シンポジウム 2015 @ 筑波大学東京キャンパス開始。ハッシュタグは Gfarm ワークショップ 2015 とカブるけど、 #gfarm2015 でいいかしら。
2015-12-14 13:33:09
SODA Noriyuki
@n_soda
Gfarm の概要と最新機能: 特徴 ・広域で性能・容量がスケールアウト ・単一障害点なし ・無停止で拡張、更新可能 ・データ完全性を保証し、silent data corruption も検知可 #gfarm2015
2015-12-14 13:36:42
SODA Noriyuki
@n_soda
#gfarm2015 実運用例 ・JLDG (7PB 8拠点) ・HPCI共用ストレージ(22.5PB、3拠点) ・計算ノードのローカルディスクを使った、データ局所性を生かしたデータ解析(各所。今日の NICT 村田先生の話とか) #gfarm2015
2015-12-14 13:40:08
SODA Noriyuki
@n_soda
Gfarm 2.6の新機能 ・ファイルシステムノードグループによる複製配置指定機能 ・クライアント透明なフェイルオーバー ・End-to-endのデータ完全性 ・並列ファイルコピーgfpcopy高速化 ・CentOS 7対応 ・Linux カーネルモジュール #gfarm2015
2015-12-14 13:44:56
SODA Noriyuki
@n_soda
ファイルシステムノードグループによる複製配置指定機能 ストレージサーバの属するノードグループを設定: $ gfhostgroup -s ホスト名 グループ名 グループ毎の複製数の指定: $ gfncopy -S GroupA:2,GroupB:1 パス名 #gfarm2015
2015-12-14 13:47:15
SODA Noriyuki
@n_soda
グループを指定せずに複製数を指定する gfncopy -s 個数 パス名 （グループ毎の方が優先される） #gfarm2015
2015-12-14 13:49:01
SODA Noriyuki
@n_soda
余剰複製削除機能。Gfarm 2.6.5 から。 ファイルシステムノードの長期停止時に自動的に増えた複製は、復帰時に余剰となるので、これを自動的に削除する。。 デフォルト有効だが、動的に無効にしたり有効したりできる #gfarm2015
2015-12-14 13:50:17
SODA Noriyuki
@n_soda
クライアント透明なフェイルオーバー 運用中にソフトウェア更新可能 ただしgfmdの再起動の前と後で、複数プロセスの同一のファイルへの更新競合があった場合制限あり（複製が複数あると競合を完全に防ぐことはできず、競合した更新が lost+foundへ行く可能性） #gfarm2015
2015-12-14 13:55:15
SODA Noriyuki
@n_soda
silent data corruption検知 書き込み時にdigest(secure hash)を計算してメタデータに付与。 逐次読み込み時に比較。 不整合があればlost+foundへ移動する。2つ以上のレプリカがあれば、正しいものが残るため自動修復 #gfarm2015
2015-12-14 13:58:24
SODA Noriyuki
@n_soda
データ完全性 End-to-endの完全性チェックはデフォルトでは disable。クライアント側の設定で有効化。 write_verify …次のバージョンから #gfarm2015
2015-12-14 14:02:17
SODA Noriyuki
@n_soda
zabbix プラグインによる障害監視 ganglia プラグインによる性能監視 samba プラグインを使った samba 経由のアクセス #gfarm2015
2015-12-14 14:02:59
SODA Noriyuki
@n_soda
Pwrake ワークフローシステム github.com/masa16/pwrake/ ruby ベースの make システム rake を拡張。 Rkaefile で表現されるワークフローをクラスタの複数ファイルで並列実行 Gfarmファイルシステムのサポート #gfarm2014
2015-12-14 14:06:39
SODA Noriyuki
@n_soda
Pwrake ・Gfarm を自動マウント ・データ移動の最小化 ・ディスクキャッシュの有効化 データ移動の最小化 多制約グラフ分割によるスケジューリング データ移動を15%に削減。実行時間31%削減 #gfarm2014
2015-12-14 14:09:37