-
- いいね！0
御徒町＠MultiVersionConcurrentClimber(MVCC)
@okachimachiorz1
おっと、1000台でやってるぞ宣言。んで、毎週なんかは壊れるというのが普通。まー、よってHDFS内部でRepさせるのは必須なのであります。 #nikkeiHadoop
2010-12-15 13:20:57
Atsushi Nakada
@Nakada_itpro
「Hadoopノードに1000台もあると、1週間のうちに、どこかで必ず故障が起きる」－－1000台のHadoopクラスター運用経験があるんですねゴクリ（棒読み） #nikkeiHadoop
2010-12-15 13:21:00
tabizou
@tabizou
笑 RT @Nakada_itpro: 主催者がパソコンを開く前に、講演者がハッシュタグを作っていた日経コンピュータHadoopセミナー開催中 #nikkeiHadoop …bpの文字入ってない＞＜
2010-12-15 13:22:35
御徒町＠MultiVersionConcurrentClimber(MVCC)
@okachimachiorz1
分散して書いたデータを処理する仕組みがMapreduce。極力データは移動させない。データのローカリティを生かして処理を飛ばす。 #nikkeiHadoop
2010-12-15 13:22:39
やましろ
@Felio
入門的内容。入門向けにわかりやすくしちゃうと、どうしても「HDFSをファイルサーバに使えるじゃん!」という思考になってしまいがち。ここはジレンマかもしれないけど、危険...。 #nikkeiHadoop
2010-12-15 13:23:26
御徒町＠MultiVersionConcurrentClimber(MVCC)
@okachimachiorz1
さー42pの資料で、現在まだ7p。もはや全部説明する気Nothingです～。 #nikkeiHadoop
2010-12-15 13:24:59
御徒町＠MultiVersionConcurrentClimber(MVCC)
@okachimachiorz1
分散を勝手にする仕組み＋スケーラビリティ高い＋コモディティサーバーが前提＝Hadoopですぜ～。 1000台でもスケールする。4000台でもOK。このあたりが魅力。特殊なH/Wを必要としない点も魅力。 #nikkeiHadoop
2010-12-15 13:27:45
御徒町＠MultiVersionConcurrentClimber(MVCC)
@okachimachiorz1
OozieとSqoopのロゴをマジで見たのは実は初めてなんだが、これは酷い。 #nikkeiHadoop
2010-12-15 13:30:07
御徒町＠MultiVersionConcurrentClimber(MVCC)
@okachimachiorz1
FBの解説。VISAの解説。ChineMobileの解説。国立図書館の例。GEの解説。 #nikkeiHadoop
2010-12-15 13:35:05
御徒町＠MultiVersionConcurrentClimber(MVCC)
@okachimachiorz1
ChineMobleの例。ユーザー数は5億人のケース。「これは水増しですね～HAHAHA」 ノリノリだあああ。 #nikkeiHadoop
2010-12-15 13:36:24
@kkawamura
ほーう、国立国会図書館サーチでHadoopが利用されている。図書データの揺れをHadoopでサマリー、インデックスを作成とのこと #nikkeiHadoop
2010-12-15 13:38:47
@kkawamura
GEはtwitter,facebookなどから自社製品に対する顧客の反応を抽出。Hadoopを利用して分析しているとのこと。 #nikkeiHadoop
2010-12-15 13:41:27
御徒町＠MultiVersionConcurrentClimber(MVCC)
@okachimachiorz1
向いている領域。TB/PBクラスのシステム・バッチ処理・オンライン処理の前処理。・・・ログ解析・レコメンデーション・検索・マイニング・ML・・・ #nikkeiHadoop
2010-12-15 13:42:37
御徒町＠MultiVersionConcurrentClimber(MVCC)
@okachimachiorz1
え、最後に・・・・のこり20pで残り5分ですぞ。 #nikkeiHadoop
2010-12-15 13:45:28
Atsushi Nakada
@Nakada_itpro
@okachimachiorz1 残りのスライドには初めから【参考】の文字が！！！ #nikkeiHadoop
2010-12-15 13:46:41