新定番!10年効く注目の技術 「分散ストレージ技術 GlusterFS」 #ljstudy

開催:2012/7/25 19:00 〜 21:10 第1部「10年効く分散ストレージ技術・GlusterFS&Red Hat Storage」 講師:レッドハット株式会社 中井 悦司 氏 @enakai00 続きを読む
7
片山 暁雄 @c9katayama

ハッシュ値はファイル名で計算。ただしディレクトリごとにハッシュ値のレンジを変えている #ljstudy

2012-07-25 19:37:33
いちろう🌗腸脛靭帯炎再発🏃 @tichi73

ファイル名だけでハッシュ値を計算するように変更して、ディレクトリ毎にハッシュレンジを分けることで、特定のブリックにファイルが偏るのを防いでいる。 #ljstudy

2012-07-25 19:38:24
片山 暁雄 @c9katayama

メタ情報は、該当ディレクトリの拡張属性に記録されている #ljstudy

2012-07-25 19:39:22
いちろう🌗腸脛靭帯炎再発🏃 @tichi73

各ブリック/ディレクトリのハッシュレンジは、該当ディレクトリの「拡張属性」に記録される。 trusted.glusterfs.dht=... #ljstudy

2012-07-25 19:39:45
いちろう🌗腸脛靭帯炎再発🏃 @tichi73

クライアントは各サーバからハッシュレンジを集めてメモリ上にDHTを構築する。 #ljstudy

2012-07-25 19:41:22
片山 暁雄 @c9katayama

後から追加した場合は、新規で作られたディレクトリから割り振りが行なわれる 再配置したいならリバランスコマンドで #ljstudy

2012-07-25 19:45:02
いちろう🌗腸脛靭帯炎再発🏃 @tichi73

既存ボリュームにブリックを追加すると、既存ディレクトリのハッシュレンジは維持されるが、新しいディレクトリを作ると新しいハッシュレンジが割り当てられる。Rebalance処理を実施すると既存ディレクトリも再配置される(ファイル移動するので重い)。 #ljstudy

2012-07-25 19:45:07
いちろう🌗腸脛靭帯炎再発🏃 @tichi73

既存ボリュームからブリックを削除するには、Remove処理を実施することでファイルを移動してハッシュレンジを再構築して、その後取り外せる。 #ljstudy

2012-07-25 19:45:54
ishikawa84g @ishikawa84g

クライアントがハッシュのテーブルをメモリに持つらしいけど死ぬほどディレクトリが多い時とかどうなるんだろう。そこまで多くならない? #ljstudy

2012-07-25 19:46:03
いちろう🌗腸脛靭帯炎再発🏃 @tichi73

トランスレータ・モジュールという仕組みがあり、自作モジュールをGlusterFSに自由に差し込める。 #ljstudy

2012-07-25 19:47:29
キリンのテイラー🌏 @htaira

4台用意しないと機能網羅できません。 RT @wenbose: やっぱ2台だとGlusterFSって検証難しいですかねぇ… #ljstudy

2012-07-25 19:48:21
Yuji Sato @satoy11

こだわりのトランスレーターモジュール #ljstudy

2012-07-25 19:49:21
いちろう🌗腸脛靭帯炎再発🏃 @tichi73

テキストファイルでどのファイルでどのモジュールを動かすか記述する、というシンプルさw #ljstudy

2012-07-25 19:49:55
いちろう🌗腸脛靭帯炎再発🏃 @tichi73

NFSマウント:GlusterFSデーモンは独自のNFSサーバ機能(NFSv3のみ)を提供している。分散ロック機能でNFSロック情報はノード間で共有される。マウント先のサーバがGlusterクライアントのように動くのでNFSマウント先は分散したほうがいい #ljstudy

2012-07-25 19:52:01
いちろう🌗腸脛靭帯炎再発🏃 @tichi73

REST APIでも同じで、アクセスしたサーバがGlusterクライントのように動く #ljstudy

2012-07-25 19:52:40
wenbose@お好きな読み方でどうぞ @wenbose

GlusterFSのNFS機能って何に使うんだろ。結局GlusterFSってNFSみたいな関係でもあるんだし、サーバ間の動きは。ただクライアント:サーバの関係が多:多なだけで。 #ljstudy

2012-07-25 19:52:45
いちろう🌗腸脛靭帯炎再発🏃 @tichi73

よくある誤解:高速化する?→単一ファイルのアクセス性能は向上しない。多くのファイルを複数のサーバでアクセスを分散させれば、トータルで性能を引き出せる。 #ljstudy

2012-07-25 19:54:29
いちろう🌗腸脛靭帯炎再発🏃 @tichi73

Nativeプロトコル以外は1ホップ増えるけど不利か?→少数ファイルに書き込みアクセスする場合はNFSのほうが高速な場合もある。 #ljstudy

2012-07-25 19:55:49
wenbose@お好きな読み方でどうぞ @wenbose

なるほどね、「NFSのキャッシュ機能を有効に使う為」なのかー…>GlusterFSのNFS機能 #ljstudy

2012-07-25 19:55:54
いちろう🌗腸脛靭帯炎再発🏃 @tichi73

ストライピングを利用したほうが高速?→1つの巨大なファイルを複数クライアントが同時アクセスする場合に有効な仕組み。多数のクライアントが異なるファイルへ同時アクセスする場合はストライピングしないほうが有利。 #ljstudy

2012-07-25 19:57:11
いちろう🌗腸脛靭帯炎再発🏃 @tichi73

ブリックの中のファイルはLinuxの普通のファイルなので、いざってときサルベージしやすい #ljstudy

2012-07-25 19:57:55
いちろう🌗腸脛靭帯炎再発🏃 @tichi73

ファイルのありかはDHTで参照するが、それがさらにリンクで別サーバに飛ばされることもある #ljstudy

2012-07-25 20:00:26
K.Namba/(お菓子|おやつ)エバンジェリストDX🍩 @ipv6labs

http://t.co/j2o4YFxm ミニマムこんな感じかなー RT @htaira: 4台用意しないと機能網羅できません。 RT @wenbose: やっぱ2台だとGlusterFSって検証難しいですかねぇ… #ljstudy

2012-07-25 20:01:06
片山 暁雄 @c9katayama

ストライピングはスパースファイルを利用 #ljstudy

2012-07-25 20:02:12