Hadoopソースコードリーディング第3回

Yoh Okuno @yoh_okuno

お先に失礼します!！ #hadoopreading

@nemoton

講演者の皆様、会場用意から何まで楽天のボランティアの方々、色々とありがとうございました。勉強すること一杯ですが、楽しんでまた参加できました。体調の都合でビザを完食てきず、無念w #hadoopreading

Yoh Okuno @yoh_okuno

Data Intensive～で面白いのは2章ではなく3章でした。 #hadoopreading

@nsiena

みなさん、二次会に向かわれたけれど、今日は帰らせていただくことにした。次は #hadoopmodeling でお会いしましょう(?) ^^)/~ #hadoopreading

Hiro Yoshioka @hyoshiok

#hadoopreading 終わった～

rawwell @rawwell

RT @shot6: Cassandraでは方法は2つ。新規にノードをたして、tokenフリーで追加してそちらに引っ越す。または残ったノード間でリバランスする必要がある。 #hadoopreading

@nsiena

@okachimachiorz 今日は、そのくらい押さえておこうよ、と言われそうな ^^; 質問を二つほどさせていただいてすっきりしました。ありがとーでした。 #hadoopreading

ひしだま @hishidama

#hadoopreading、楽しそうでいいな～。bloom filterってこういう風に使われていたのか！ RT @yutuki_r .@tatsuya6502 さんのpresentation資料の在処 http://bit.ly/cXyroF

ひしだま @hishidama

早速まとめられている。素晴らしい。 RT @yutuki_r: #HBase と #Cassandra 比較、 @tatsuya6502 氏の資料を基に表にしてみた。 http://goo.gl/OWOK #hadoopreading

ひしだま @hishidama

早速まとめられている。素晴らしい。 RT @yutuki_r: #HBase と #Cassandra 比較、 @tatsuya6502 氏の資料を基に表にしてみた。 http://goo.gl/OWOK #hadoopreading

トモゾウ１３ @tomozou_13

RT @shot6: 故障への耐性は Cassandra > HBase #hadoopreading

トモゾウ１３ @tomozou_13

RT @Guutara: 遅刻したけど、いけてよかった。さぁ、戻って徹夜で仕事だ。 #hadoopreading

Tatsuya Kawano @tatsuya6502

んー？ 一夜明けても、ハッシュタグによる検索がうまくいってないような。まとめが作れない。 #hadoopreading

(･∀･)キムティ♪@荒浪一城 @kimtea

@tatsuya6502 「Hadoopソースコードリーディング第3回 ハッシュタグまとめ」をトゥギャりました。 http://togetter.com/li/32307

Tatsuya Kawano @tatsuya6502

@kimtea どうもです！ ここから、リンクさせて頂きました。 http://ow.ly/24pEE 　でもね、いま自分で検索してみてもそうなんですけで、検索から抜けてるつぶやきが結構あるみたいな気がします。

Tatsuya Kawano @tatsuya6502

昨日の #hadoopreading でもらった質問でいちばん気になるのは、 Map Reduce + HBase での、データのローカリティの扱いだよね。ここはちゃんと確認しておこう。

Tatsuya Kawano @tatsuya6502

Hadoop のJobTrackerは、レプリカがどのDataNodeにあるかをどうやって知るんだっけ？ #hadoopreading にふさわしいネタだなあ。あと、Map Reduceからの HBase HFileの直接出力も、みな興味のありそうなところか。

@okachimachiorz

@tatsuya6502 NameNodeに問い合わせてます。 #hadoopreading

Tatsuya Kawano @tatsuya6502

@okachimachiorz なるほど。では、そこになにか汎用的なインターフェイスを導入して、JobTrackerが Cassandra や HBase とお話しできるようにすればいいのかな。RT: NameNodeに問い合わせてます。 #hadoopreading

@okachimachiorz

@tatsuya6502 あぁ、それでいいはずです。うまく「会話」できれば、そのまま手を加えずにMRがHDFSと同じパフォーマンスで走るはずです。 #hadoopreading

E. Nakai @enakai00

JobTrakcerにMapとRSのローカリティを制御させて、HBaseにRSとHDFS(HFile)のローカリティを制御させるのが正解かと。 @m_mouri @tatsuya6502 MR+HBaseのローカリティは、RSレベルとHFileレベル #hadoopreading

E. Nakai @enakai00

KVSでMRする時のローカリティはずっと気になっていたのですっきりしました。やりすぎるとKVSでデータソースを抽象化する意味がなくなるのでバランスが大切なとこですね。RT @tatsuya6502 昨日の #hadoopreading でもらった質問でいちばん気になるのは...

Masakazu Matsushita @matsukaz

RT @hishidama: 早速まとめられている。素晴らしい。 RT @yutuki_r: #HBase と #Cassandra 比較、 @tatsuya6502 氏の資料を基に表にしてみた。 http://goo.gl/OWOK #hadoopreading

Shogo Okamoto @shogookamoto

RT @hishidama: 早速まとめられている。素晴らしい。 RT @yutuki_r: #HBase と #Cassandra 比較、 @tatsuya6502 氏の資料を基に表にしてみた。 http://goo.gl/OWOK #hadoopreading

那須 利将 Toshimasa NASU @nasu_t

RT @hishidama: 早速まとめられている。素晴らしい。 RT @yutuki_r: #HBase と #Cassandra 比較、 @tatsuya6502 氏の資料を基に表にしてみた。 http://goo.gl/OWOK #hadoopreading