HDFSはファイルサーバーに使うものじゃないよ

切り取り線 @kiri_tori

✄----------- 11/22(月) -----------✄

御徒町@Serializable @okachimachiorz

まずアレです。HDFSをファイルサーバーの代わりに使うというの発想は、ありえないぐらい完璧な間違いです。いいですね？

御徒町@Serializable @okachimachiorz

つぎにアレです。お客さんが読んでいそうな本。例）Googleを支える技術、とか。そういう本はIT屋であれば、普通に読んでおくべきです。

御徒町@Serializable @okachimachiorz

HDFSをファイルサーバーに使うって発想がどの辺から出てきているのか、その辺の発祥の地を知りたいと思う。

豊月 @yutuki_r

@okachimachiorz HDFSは、ﾉｰﾄﾞを増やせば簡単に保存出来る量が増えますよ！って所からでは。

M.Mouri @m_mouri

@okachimachiorz 画像ファイルサーバーとしてどこかで利用してた気がしたので、ググったらこんなのがでてきました。http://bit.ly/dxGSTL さすがにキャッシュが挟まっているそうですが、KVSの方がよさそうにみえます。

Ryu Kobayashi @ryu_kobayashi

@okachimachiorz ログのバックアップ用とかには良いかも。

iijima shinichi @siijima1974

@okachimachiorz あと勝手に分散。バックアップしてくれる点ですね。ファイルサーバーは結構バックアップにリソース食います。

御徒町@Serializable @okachimachiorz

@ryu_kobayashi あぁ、その辺が誤解の元だわね。・・・それ「バックアップ用」でしょ？ログ自体がぶち消えたら困るでしょ？

御徒町@Serializable @okachimachiorz

@yutuki_r 本日「分散ファイルサーバーに使えますよね？使えますよね？使えますよ？」みたいな感じになりました。正直、さすがにちょっとおおおおおお、という状態。

御徒町@Serializable @okachimachiorz

@siijima1974 ログの正ファイルサーバーにすると、あとで泣くと思いますです。あくまで「バックアップ用」という風に思っていますが・・・・

御徒町＠MultiVersionConcurrentClimber(MVCC) @okachimachiorz1

バックアップ用にHDFSという話がありますが！いいですか？「消えないからバックアップ」なんですぜ！バックアップの方が正ファイルよりも消える可能性が高い場合、それはバックアップになりませんぜ！いいですね？orz・・・ただのキャッシュって言った方が正しいと思いますですよ。

Ryu Kobayashi @ryu_kobayashi

@okachimachiorz まぁ、なんにしてもnamenodeが死んだら終わりですがね。

御徒町＠MultiVersionConcurrentClimber(MVCC) @okachimachiorz1

バックアップということは、正ファイルが死んだ場合、バックアップからリストアするんですぜ・・・・まっさきにバックアップの方が逝かれたら、バックアップにならんと思いますです。

御徒町@Serializable @okachimachiorz

@ryu_kobayashi だから、それは「バックアップ」になりませんぜ、旦那。

御徒町@Serializable @okachimachiorz

それで、そういう流れで、ファイルサーバーにHDFSなんて話がでるのか・・・・勘弁してくれ。

Ryu Kobayashi @ryu_kobayashi

@okachimachiorz まぁ、そうっすね。かと言って現実的なものがないのでS3みたいなのを望みますね。なんかないっすかね？

Guutara (⁰⊖⁰) Stay Home @Guutara

@okachimachiorz @yutuki_r 基盤は、みんな、そう言いますよ。日経を筆頭に、メディアのせいですね。スゲー、 迷惑です。

御徒町@Serializable @okachimachiorz

@Guutara まじすか。まじすか。まじすか。

御徒町@Serializable @okachimachiorz

@ryu_kobayashi んなものないわい。固定メディアにだらだら書き込むしかないっしょ～～～。

Guutara (⁰⊖⁰) Stay Home @Guutara

@okachimachiorz1 今日も、アドミン研修うけたやつに、さえ、おんなじ用な、話ししたもん。ネームノードのバックアップ、リストアできたら、あんぜんですよね！みたいな。

Kazuki Ohta 💎 @kzk_mover

@Guutara ええ…

Guutara (⁰⊖⁰) Stay Home @Guutara

@okachimachiorz まじ、ですよ！それを、潰すために、社外講師を、よんだくらいなんですから！

Ryu Kobayashi @ryu_kobayashi

@okachimachiorz コミュニティクラウドでやりましょうよー。

御徒町＠MultiVersionConcurrentClimber(MVCC) @okachimachiorz1

HDFSはファイル・キャッシュです、と解釈すべし。①Nameノードが死んだらぶっ飛ぶ　②そもそもMRを行うためにデータをバラまいているのであって保存のためではない。③お客さんの誤解がない。・・・③はすげー大事。