編集部が選ぶ「みんなに見てほしい」イチオシまとめはこちら
3
SODA Noriyuki @n_soda
Gfarm 2.6.0 リリース。3年ぶりのメジャーリリース。今日の午前中にリリースする予定だったが、リポジトリを置くSourceForgeでディスク障害が起き、リリースできなかった。orz 今は直っているので、すぐにリリース予定 #gfarm2014
SODA Noriyuki @n_soda
Gfarm 2.6.0 新機能。ファイルシステム・ノードをグループに分け、複製作成位置を指定できる。 groupA:2 groupB:1 だと、groupA に属するノード群の中に2つ、groupB のなかに 1つ複製を作成する…といった指定ができる #gfarm2014
SODA Noriyuki @n_soda
クライアント透明なメタデータ・サーバーのフェイルオーバー。2.5の頃から、フェイルオーバー自体はあったが、フェイル・オーバー発生タイミングで、APIが失敗するケースがあった。これが失敗しなくなる。 #gfarm2014
SODA Noriyuki @n_soda
2.6.0の新機能: end-to-endのデータ完全性。大規模データを扱う環境において、OS/ハードウェア側の問題で、I/Oエラーが起きないにデータが化けたことがあった。この対策として、gfarm 2.5.8.5 で md5 による整合性検査が実装された #gfarm2014
SODA Noriyuki @n_soda
2.6.0の新機能: 2.5での整合性検査は、ファイルシステムの問題を想定しサーバー上で md5 を計算していた(オプション)。2.6 では、クライアント側で計算し、end-to-end で整合性を保証できるようになる(別のオプション)。sha1もサポート #gfarm2014
SODA Noriyuki @n_soda
2.5での整合性検査の性能オーバーヘッドは数パーセントくらいだった。マルチコアCPUを持つファイルシステム・ノード上で計算しており、計算処理を行なうクライアントとは並行して動くため #gfarm2014
SODA Noriyuki @n_soda
2.6.0の新機能: gfpcopyの高速化。レイテンシの影響の少ないプロトコルを新設し(実はファイルシステムノード間で使われていたレプリケーション・プロトコルを、クライアントからも使えるようにした)、RTTの大きい環境で高速化する #gfarm2014
SODA Noriyuki @n_soda
gfpcopy の高速化。1ストリームの場合、北海道大学←→東大柏:2倍、北海道大学←→神戸AICS:4.2倍、京都大学←→東大柏:4倍、京都大学←→神戸AICS:17倍 #gfarm2014
SODA Noriyuki @n_soda
2.6.0の新機能: Gfarmカーネルモジュール。クライアントをカーネル内で実装した #gfarm2014
MATSUMOTO Yutaka @yutakama
今やってるのね。。。 12月16日 Gfarmシンポジウム2014(東京都) kokucheese.com/event/index/23…
SODA Noriyuki @n_soda
WebGfarm: GfarmのHTTPインターフェース。Apache httpd のモジュールとして実装。Cで700行くらい。mod_authやmod_sslと組み合わせて利用できる。httpd をファイルシステムノード上で実行すると、高い並列アクセス性能 #gfarm2014
SODA Noriyuki @n_soda
WebGfarm: そのファイルシステムノードが保持していない複製については、http のリダイレクトを用いて、複製を保持するファイルシステムノードへ、クライアントから直接アクセスさせることもできる(オプション)。どちらが良いかはケースバイケース #gfarm2014
SODA Noriyuki @n_soda
WebGfarm: http 的なユーザーと、Gfarm的なユーザーとの間のマッピングは行なっていない。Gfarm的なユーザーは、httpdのインスタンス毎に一つになる #gfarm2014
SODA Noriyuki @n_soda
Zabbix による Gfarm 障害監視: まずは Zabbix の紹介。#gfarm2014
Masahiro Tanaka 田中昌宏 @masa16tanaka
Zabbix - OSS統合監視ソフトウェア zabbix.com/jp/ sraoss.co.jp/technology/zab… gfarm-zabbix plugin により、GfarmをZabbixで監視できる
SODA Noriyuki @n_soda
あ、書き忘れてた気が。 Gfarm 2.6.0 の新機能: CentOS 7 対応 #gfarm2014
SODA Noriyuki @n_soda
Zabbix の紹介: zabbixのテンプレート=監視項目のセット。監視対象=ホストが基本単位。各ホストにテンプレートの集合を適用する。 #gfarm2014
SODA Noriyuki @n_soda
gfarm-zabbix パッケージの紹介。alertのメッセージは今のところ英語。主な機能、gfmd や gfsd の障害監視のテンプレートを提供。gfmd のフェイルオーバ機能の提供。 動作環境 RHEL6, CentOS 6 (7 は近日提供予定) #gfarm2014
SODA Noriyuki @n_soda
gfarm-zabbixの提供するテンプレート: gfmd、gfsd、Gfarm代表クライアント、Gfarm一般クライアント、Gfarm Zabbix(Zabbixサーバーの監視)、Gfarm common(CPU負荷、メモリ空き容量など、OSレベルの監視) #gfarm2014
SODA Noriyuki @n_soda
gfarm-zabbix 1.x: 2012年4月に1.0をリリース。大規模Gfarmシステムの監視用に投入(gfsd台数が数十台)→いくつか問題が。アラートのメールが多発しすぎる。監視処理によるアクセスが多い。 #gfarm2014
残りを読む(37)
ログインして広告を非表示にする
ログインして広告を非表示にする