<a class="info_title emj" href="https://togetter.com/li/163883" title="GlusterFS TL">GlusterFS TL

@frsyuki おっしゃる通りです。加えて、システムの信頼性というものをどう実現するかもまた、ポイントだと思います。割り切った上で上位アプリがフォローするのか、ストレージアプライアンス並みの信頼性を目指すのか。従来のソフトウェアだと、前者に倒せないケースが多いようです。

2011-07-20 19:27:34

@keithseahus なるほど確かに。ハードウェアの信頼性に頼りきる（お金をかける）のでなければ、アプリでフォローは必須ですが、その点、各ノードでファイルが見える、transportを組み合わせるシンプルなアーキテクチャは優れていますね。オープンソースですし。

2011-07-20 19:41:52

@frsyuki よくわかります。メタデータ破壊でデータの復旧が困難という事態には陥らないので、レプリケーションさえしていれば、経路の全断以外は怖くありません。モジュール構造は、機能追加がしやすいのが魅力的ですね。明後日のVIOPSで私が以前作ったプロトタイプが公開予定です（笑）

2011-07-20 19:55:03

@keithseahus ぉぉぉ！期待です＞VIOPS（後日ぜひ資料など公開していただけると^^;）メタデータなし+ファイル単位の分散はロバストで良い感じです。過負荷時に「いつの間にか一貫性が崩れていた」というケースが若干怖そうですが、上位で対処可能なので固まるより良いですね。

2011-07-20 20:03:58

@frsyuki VIOPSの資料は後日公開されるとのことなので、チェックしてみて下さい。13:30-14:30のセクションに情報提供しているだけなので、私は喋りませんが…（笑）現実的に一貫性が崩れるケースとしてはsplit brainがあり、これはv1の時からの課題です。

2011-07-20 20:32:28

@keithseahus チェックします！split brainはハードウェアの構成で防ぐのが現実解になりそうな印象です。HBase＠FacebookでもDC内の分断は諦め、DC間のアクティブ/アクティブ構成も避ける方針のようですhttp://slidesha.re/oTIqbX

2011-07-20 20:39:15

分散ファイルシステムGlusterFS by id - http://bit.ly/l82eJu

2011-06-23 12:21:28

Now Browsing: GlusterFS Replication for Clustering » Source Allies Blog - http://bit.ly/indG3B

2011-06-23 17:37:10

@muddydixon GridFSを分散ファイルシステムちっくに使えば！とか思いましたが、冷静になってGlusterFSを導入することにしました。シェルベースのオレオレMapReduceはこれを使って投げまする

2011-06-24 08:47:06

glusterfsもフリーズしてどうしようも無くなったので帰る

2011-07-11 04:28:00

glusterfs復活。気軽に扱えるのでよいよい

2011-07-11 04:35:57

glusterfsの構成がシンプルなので途中でおかしくなっても手動でリカバリできる。これは非常にありがたい

2011-06-27 19:21:05

ShellScript+Redis+Glusterfsでのpipelined mapreduceのプロトタイプが完成。32mapper-6reduceで基本オンメモリーの小規模計算に。速くて満足。

2011-07-11 19:30:53

@fkei そうなんですね、情報ありがとうございます！後で調べてみますね。僕もGlusterFSを利用してMapReduceフレームワーク書いたり色々と活用していますので、hadoop namenodeの冗長化に役立つなら是非とも試してみたいと思った限りです。

2011-07-16 19:36:12

glusterfsで一度作成したvolumeをdeleteして同じ名前で作成しようとすると既にそのvolumeは作成されている、と実体が無いのに警告が出て作れない。結局全てのホストのメタ情報を操作しないといけない…何が悪いんやろか

2011-07-18 02:22:06

CloudFS "CloudFS simply adds options to GlusterFS" http://cloudfs.org/

2011-07-20 20:23:01

守秘義務対象の技術情報はもちろんだけど、その中でもNDA対象のものがあったりして、何でもtweetできるわけじゃないのがもどかしい。OSSでNDAって何なのよって感じだけど、結果としてそうなってるからなぁ。そして今、合法的に情報がオープンになるような試みを検討中。

2011-07-20 21:33:37

今だから語れるGlusterFSの昔話（笑）昔は小さいファイルの書き込みが苦手で大きいファイルの方が得意だった。しかし、v3.0.3あたりから、小さいファイルの方がむしろ得意になった。write-behindに大幅なチューンがあった模様。

2011-07-20 21:44:49

v2.0系ではフェイルオーバー関連のバグがあり、それはgdbで状況を作ってあげないと再現が難しいレベル。結局もっと後のバージョンでリリースされたパッチをバックポートして対応しました。サービスに導入してだいぶ経ってから気づいた。。。（汗）

2011-07-20 21:49:24

GlusterFSのバージョニングは微妙で、途中でギューンと超大きな変更が入り、その後の小さな変更をする中でポッとメジャーバージョンが上がる。1.0も2.0もそうだった。そして3.0の次は4.0かと思ったら、3.1, 3.2だった。謎。

2011-07-20 22:03:10

GlusterSPは残念ながらディスコンになってしまった。OSのISOごと配布で、インストール時の設定はネットワークのみ。起動するとGUIの管理画面が立ち上がり、グラフィカルにクラスタの管理ができる。対応のGlusterFSのバージョンが3.0系というのが残念。

2011-07-20 22:06:22

Guutara mmmmm (⁰⊖⁰) くぁwせdrftgy ふじこlp @Guutara

@keithseahus もしかすると、大手のディストリビューターのデフォルトパッケージングに、でも、なるんじゃないかなぁ、などと、邪推してます。w

2011-07-20 22:10:21