Hadoopソースコードリーディング第3回 (2010/06/28 Mon)

@nsiena

なんか、ひどく当たり障りのない結論になってきてしまった。だめなやつですね(←

@ogochan

@nsiena 「超えられない壁」はないんだとゆーことですかね。であれば、どっちを選ぶかは、純粋に技術的な都合だけってことになるかなと思いますが。

@hishidama

早速まとめられている。素晴らしい。 RT @yutuki_r: #HBase と #Cassandra 比較、 @tatsuya6502 氏の資料を基に表にしてみた。 http://goo.gl/OWOK #hadoopreading

@tomozou_13

RT @shot6: 故障への耐性は Cassandra > HBase #hadoopreading

@tomozou_13

RT @Guutara: 遅刻したけど、いけてよかった。さぁ、戻って徹夜で仕事だ。 #hadoopreading

@tatsuya6502

んー？ 一夜明けても、ハッシュタグによる検索がうまくいってないような。まとめが作れない。 #hadoopreading

@tatsuya6502

昨日の #hadoopreading でもらった質問でいちばん気になるのは、 Map Reduce + HBase での、データのローカリティの扱いだよね。ここはちゃんと確認しておこう。

@tatsuya6502

Hadoop のJobTrackerは、レプリカがどのDataNodeにあるかをどうやって知るんだっけ？ #hadoopreading にふさわしいネタだなあ。あと、Map Reduceからの HBase HFileの直接出力も、みな興味のありそうなところか。

@okachimachiorz

@tatsuya6502 NameNodeに問い合わせてます。 #hadoopreading

@tatsuya6502

@okachimachiorz なるほど。では、そこになにか汎用的なインターフェイスを導入して、JobTrackerが Cassandra や HBase とお話しできるようにすればいいのかな。RT: NameNodeに問い合わせてます。 #hadoopreading

@okachimachiorz

@tatsuya6502 あぁ、それでいいはずです。うまく「会話」できれば、そのまま手を加えずにMRがHDFSと同じパフォーマンスで走るはずです。 #hadoopreading

@enakai00

JobTrakcerにMapとRSのローカリティを制御させて、HBaseにRSとHDFS(HFile)のローカリティを制御させるのが正解かと。 @m_mouri @tatsuya6502 MR+HBaseのローカリティは、RSレベルとHFileレベル #hadoopreading

@enakai00

KVSでMRする時のローカリティはずっと気になっていたのですっきりしました。やりすぎるとKVSでデータソースを抽象化する意味がなくなるのでバランスが大切なとこですね。RT @tatsuya6502 昨日の #hadoopreading でもらった質問でいちばん気になるのは...

@matsukaz

RT @hishidama: 早速まとめられている。素晴らしい。 RT @yutuki_r: #HBase と #Cassandra 比較、 @tatsuya6502 氏の資料を基に表にしてみた。 http://goo.gl/OWOK #hadoopreading

@shogookamoto

RT @hishidama: 早速まとめられている。素晴らしい。 RT @yutuki_r: #HBase と #Cassandra 比較、 @tatsuya6502 氏の資料を基に表にしてみた。 http://goo.gl/OWOK #hadoopreading

@nasu_t

RT @hishidama: 早速まとめられている。素晴らしい。 RT @yutuki_r: #HBase と #Cassandra 比較、 @tatsuya6502 氏の資料を基に表にしてみた。 http://goo.gl/OWOK #hadoopreading

@hasssie

RT @hishidama: 早速まとめられている。素晴らしい。 RT @yutuki_r: #HBase と #Cassandra 比較、 @tatsuya6502 氏の資料を基に表にしてみた。 http://goo.gl/OWOK #hadoopreading

@tatsuya6502

Map Reduce + HBase のMapとRSのローカリティについて情報をくださったみなさん、ありがとうございました。HBaseのソースコードを読んだところ、この機能はすでに実装されていることがわかりました。 #hadoopreading

@tatsuya6502

Map ReduceではInputSplitがローカリティ情報を保持していて、InputFormatが一連のsplitを作ります。 HBase ではTableInputFormatがこの役割を負ってます。 http://ow.ly/1qEE2s #hadoopreading

@tatsuya6502

僕も知らなかったので、勉強になりました。 #hadoopreading

@ueshin

RT @tatsuya6502: Map ReduceではInputSplitがローカリティ情報を保持していて、InputFormatが一連のsplitを作ります。 HBase ではTableInputFormatがこの役割を負ってます。 http://ow.ly/1qEE2s #hadoopreading

@kkawamura

RT @hishidama: 早速まとめられている。素晴らしい。 RT @yutuki_r: #HBase と #Cassandra 比較、 @tatsuya6502 氏の資料を基に表にしてみた。 http://goo.gl/OWOK #hadoopreading

@m_mouri

きれいな実装が入ってるんですね！ QT @tatsuya6502: MRではInputSplitがローカリティ情報を保持していて、InputFormatが一連のsplitを作ります。 HB http://ow.ly/1qEE2s #hadoopreading

@shot6

RT @hishidama: 早速まとめられている。素晴らしい。 RT @yutuki_r: #HBase と #Cassandra 比較、 @tatsuya6502 氏の資料を基に表にしてみた。 http://goo.gl/OWOK #hadoopreading

@asip2k25

RT @hishidama: 早速まとめられている。素晴らしい。 RT @yutuki_r: #HBase と #Cassandra 比較、 @tatsuya6502 氏の資料を基に表にしてみた。 http://goo.gl/OWOK #hadoopreading