Hadoop Namenodeの冗長化について。

最速配信研究会山崎大輔 制約理論及び待ち行列理論による技術経営コンサルとエンジニア起業相談やってます @yamaz

FaceBookがHbaseをベースにGmailクローンを作るという話,

最速配信研究会山崎大輔 制約理論及び待ち行列理論による技術経営コンサルとエンジニア起業相談やってます @yamaz

（つづき）だけど、HDFSのネームノードの堅牢性を考えると勇気あるなぁと思ったのは私だけですかねぇ。

Kazuki Ohta @kzk_mover

@yamaz おそらく2個有るんですよ、クラスタが。

Kazuki Ohta @kzk_mover

@yamaz あと相当手を入れてZookeeperを使ったNameNodeの冗長化を独自で実装してるらしいです。

最速配信研究会山崎大輔 制約理論及び待ち行列理論による技術経営コンサルとエンジニア起業相談やってます @yamaz

なるほど！個人的には素のHDFSをフロント配信には使いたくなぁと思ってたので、それなら納得です RT @kzk_mover: yamaz あと相当手を入れてZookeeperを使ったNameNodeの冗長化を独自で実装してるらしいです。

Tatsuya Kawano @tatsuya6502

.@yamaz @cocoatomo Facebook はHDFS Name NodeのSPoF対策として Avatar Node というホットスタンバイのしくみを開発・公開し、1500ノードの本番環境で使用しています。 http://j.mp/c0W60z #HBase

Tatsuya Kawano @tatsuya6502

.@yamaz @cocoa また、NameNodeのSPoF対策としてわりと広まっているのは、DRBD+Heartbeatによるコールドスタンバイの仕組みです。Adobeなどはこの方法を使ってますね。NTTデータでも検証報告を出してました。 #HBase

Tatsuya Kawano @tatsuya6502

.@yamaz @cocoatomo ごめんなさい、記事を読み直したところ、この1200ノードのクラスターで使ってるとは書いてないですね。たしか、こちらのスライドで、AvatarNodeを本番で使っているような話をしてたはず。http://j.mp/auA3cZ #HBase

最速配信研究会山崎大輔 制約理論及び待ち行列理論による技術経営コンサルとエンジニア起業相談やってます @yamaz

.@tatsuya6502 @cocoatomo NTTデータの実証実験上はHertBeat+DRDB(ProtocolC)で冗長性確保はバッチリみたいな感じですが、微妙にあやしいのでもう一段上位にデータの再ロードなどの運用をかぶせてフォローする形態を採用してます。

最速配信研究会山崎大輔 制約理論及び待ち行列理論による技術経営コンサルとエンジニア起業相談やってます @yamaz

HDFSクラスタを停止してもいいからなんらかの方法でデータノードのデータからNameNodeを復旧する手段があればなぁとは思いますね。それこそMapReduceで復旧させるみたいな。