HDFSをファイルサーバーに使った事例があるようですよ

Guutara mmmmm (⁰⊖⁰) くぁwせdrftgy ふじこlp @Guutara

@shot6 @ryu_kobayashi @okachimachiorz いやぁ、素晴らしい！ 今度、Hadoopで、ストレージって、社内で言われたら、ここを、紹介します！ 自己責任で！って。:)

Mikka @mikka_tech

「ユーザーが意識しないでスケールできる」はクラウドの見方のひとつかなーと思う。プライベートクラウドサービスはちょいちょい聞きます。でもこれストレージ完全に共有じゃねーのどこがプライベートなのどこが安全なの

Ryu Kobayashi @ryu_kobayashi

@Guutara しかも、プライベートクラウドサービスですしね！安心です！

Mikka @mikka_tech

お、プライバシーマーク対応できると書いてある。

Mikka @mikka_tech

これでうちに変なお声掛け来ないといいな…とりあえず日経産業新聞確認したい

Guutara mmmmm (⁰⊖⁰) くぁwせdrftgy ふじこlp @Guutara

@Nakada_itpro 取材してきてぇー。:D

Guutara mmmmm (⁰⊖⁰) くぁwせdrftgy ふじこlp @Guutara

@ryu_kobayashi じだいは、PCS! セ○ムしてますか？PCSしてますか！

御徒町@Serializable @okachimachiorz

@Guutara @shot6 @ryu_kobayashi 明日のセミナーネタで。こんなホットでおいしい獲物を逃すほど草食ではございません！

Ryu Kobayashi @ryu_kobayashi

@Guutara それ違うんじゃｗ

Ryu Kobayashi @ryu_kobayashi

@okachimachiorz @Guutara @shot6 ちょっｗ 聞きたいｗ

Guutara mmmmm (⁰⊖⁰) くぁwせdrftgy ふじこlp @Guutara

@okachimachiorz @shot6 @ryu_kobayashi 社内で、確実に、連絡を、入れそうな、所が、思い浮かぶ。

Mikka @mikka_tech

HDFSをファイルサーバーとして利用、て事例あったはず。あれはNameNodeが冗長化されてるぽかった

tomo🐧@learning @cocoatomo

@mikka_tech 日経産業に載ったのは数週間前ですよ。昔の新聞を図書館とかに探しに行くんですか?

Mikka @mikka_tech

@cocoatomo お、なるほど。どおりで近所に聞いても記憶にないはずです^^;明日あたり新聞にのるかなー、という感じですね。

Kazuki Ohta @kzk_mover

@Guutara @shot6 @okachimachiorz @ryu_kobayashi こういう怪しいの今後タケノコのように出てきそうすね…

tomo🐧@learning @cocoatomo

@mikka_tech そのときは「HDFS をファイルサーバーに」という話でした。扱いはそんなに大きくなかったですが、「三重化」と「月額? 円」とかの情報が載ってました。

Guutara mmmmm (⁰⊖⁰) くぁwせdrftgy ふじこlp @Guutara

@kzk_mover @shot6 @okachimachiorz @ryu_kobayashi 客寄せに、Hadoop使ってるだけで、中身は、ちがうとか。信じられない、改造いれてて、生まれかわってるとか。だよね？ そのまんま、じゃ、ないよね？w

Keisuke Kawamura @kkawamura

@shot6 いや、あの、某Hadoopを利用したストレージサービスみたいな発表にみんなが食いつく様子が、まるで獲物にむらがるライ(ry

Tatsuya Kawano @tatsuya6502

Facebookのエンジニアによると、64GB RAMを搭載したHadoop HDFS NameNodeが管理できるのは８千万ブロックくらいまでらしいです。 http://j.mp/aHIgtB

豊月 @yutuki_r

やはり出てきた @tatsuya6502 さん

Tatsuya Kawano @tatsuya6502

仮にHadoop HDFSのブロックサイズを４KBにして、レプリカ数を３にすると、64GB RAM搭載のNameNodeなら最大で100GB格納できます！ つまり細かいファイルを扱うのは無理。最低でも64MBくらいのbucket作ってそこにファイルを詰め込まないと。

NAO @nemoton

ネットワークかぁ・・・NameNodeのボトルネックの最初に挙げられちゃうんだね。

Tatsuya Kawano @tatsuya6502

@yutuki_r なんか、このネタでずいぶん引っ張れそうですねー。

豊月 @yutuki_r

@tatsuya6502 確かに。あのできあがった図が、非常にインパクトありますし、すごさが良くわかりますしね

M.Mouri @m_mouri

@tatsuya6502 余談ですが、かつて2Tbyteのext3ファイルシステムに小さいファイルをたくさん入れてたら、12百万ファイルでi-nodeが足りなくなりました。なので1ファイル=1ブロックも使うと、8千万ブロックぐらいあっという間に食いつぶしそうです。