-
- いいね！3
SODA Noriyuki
@n_soda
Gfarm 2.6.0 リリース。3年ぶりのメジャーリリース。今日の午前中にリリースする予定だったが、リポジトリを置くSourceForgeでディスク障害が起き、リリースできなかった。orz 今は直っているので、すぐにリリース予定 #gfarm2014
2014-12-16 13:54:23
SODA Noriyuki
@n_soda
Gfarm 2.6.0 新機能。ファイルシステム・ノードをグループに分け、複製作成位置を指定できる。 groupA:2 groupB:1 だと、groupA に属するノード群の中に2つ、groupB のなかに 1つ複製を作成する…といった指定ができる #gfarm2014
2014-12-16 13:57:08
SODA Noriyuki
@n_soda
クライアント透明なメタデータ・サーバーのフェイルオーバー。2.5の頃から、フェイルオーバー自体はあったが、フェイル・オーバー発生タイミングで、APIが失敗するケースがあった。これが失敗しなくなる。 #gfarm2014
2014-12-16 14:03:15
SODA Noriyuki
@n_soda
2.6.0の新機能: end-to-endのデータ完全性。大規模データを扱う環境において、OS／ハードウェア側の問題で、I/Oエラーが起きないにデータが化けたことがあった。この対策として、gfarm 2.5.8.5 で md5 による整合性検査が実装された #gfarm2014
2014-12-16 14:15:14
SODA Noriyuki
@n_soda
2.6.0の新機能: 2.5での整合性検査は、ファイルシステムの問題を想定しサーバー上で md5 を計算していた(オプション)。2.6 では、クライアント側で計算し、end-to-end で整合性を保証できるようになる(別のオプション)。sha1もサポート #gfarm2014
2014-12-16 14:18:54
masa16
@masa16tanaka
WebGfarm - GfarmへのRESTインタフェース github.com/fuyumacha/mod_… #gfarm2014
2014-12-16 14:19:06
SODA Noriyuki
@n_soda
2.5での整合性検査の性能オーバーヘッドは数パーセントくらいだった。マルチコアCPUを持つファイルシステム・ノード上で計算しており、計算処理を行なうクライアントとは並行して動くため #gfarm2014
2014-12-16 14:20:31
SODA Noriyuki
@n_soda
2.6.0の新機能: gfpcopyの高速化。レイテンシの影響の少ないプロトコルを新設し（実はファイルシステムノード間で使われていたレプリケーション・プロトコルを、クライアントからも使えるようにした）、RTTの大きい環境で高速化する #gfarm2014
2014-12-16 14:25:09
SODA Noriyuki
@n_soda
gfpcopy の高速化。1ストリームの場合、北海道大学←→東大柏:2倍、北海道大学←→神戸AICS:4.2倍、京都大学←→東大柏:4倍、京都大学←→神戸AICS:17倍 #gfarm2014
2014-12-16 14:26:12
MATSUMOTO Yutaka
@yutakama
今やってるのね。。。 12月16日 Gfarmシンポジウム2014(東京都) kokucheese.com/event/index/23…
2014-12-16 14:30:30
SODA Noriyuki
@n_soda
WebGfarm: GfarmのHTTPインターフェース。Apache httpd のモジュールとして実装。Cで700行くらい。mod_authやmod_sslと組み合わせて利用できる。httpd をファイルシステムノード上で実行すると、高い並列アクセス性能 #gfarm2014
2014-12-16 14:32:27
SODA Noriyuki
@n_soda
WebGfarm: そのファイルシステムノードが保持していない複製については、http のリダイレクトを用いて、複製を保持するファイルシステムノードへ、クライアントから直接アクセスさせることもできる(オプション)。どちらが良いかはケースバイケース #gfarm2014
2014-12-16 14:37:45
SODA Noriyuki
@n_soda
WebGfarm: http 的なユーザーと、Gfarm的なユーザーとの間のマッピングは行なっていない。Gfarm的なユーザーは、httpdのインスタンス毎に一つになる #gfarm2014
2014-12-16 14:38:30
masa16
@masa16tanaka
Zabbix - OSS統合監視ソフトウェア zabbix.com/jp/ sraoss.co.jp/technology/zab… gfarm-zabbix plugin により、GfarmをZabbixで監視できる
2014-12-16 14:53:16
SODA Noriyuki
@n_soda
Zabbix の紹介: zabbixのテンプレート=監視項目のセット。監視対象=ホストが基本単位。各ホストにテンプレートの集合を適用する。 #gfarm2014
2014-12-16 14:59:37
SODA Noriyuki
@n_soda
gfarm-zabbix パッケージの紹介。alertのメッセージは今のところ英語。主な機能、gfmd や gfsd の障害監視のテンプレートを提供。gfmd のフェイルオーバ機能の提供。 動作環境 RHEL6, CentOS 6 (7 は近日提供予定) #gfarm2014
2014-12-16 15:00:17
SODA Noriyuki
@n_soda
gfarm-zabbixの提供するテンプレート: gfmd、gfsd、Gfarm代表クライアント、Gfarm一般クライアント、Gfarm Zabbix(Zabbixサーバーの監視)、Gfarm common(CPU負荷、メモリ空き容量など、OSレベルの監視) #gfarm2014
2014-12-16 15:05:26
SODA Noriyuki
@n_soda
gfarm-zabbix 1.x: 2012年4月に1.0をリリース。大規模Gfarmシステムの監視用に投入(gfsd台数が数十台)→いくつか問題が。アラートのメールが多発しすぎる。監視処理によるアクセスが多い。 #gfarm2014
2014-12-16 15:32:08