第2回HBase勉強会 #hbaseworkshop

Masayoshi Hagiwara @masayh

これは広い意味でのデータベースを通信場に使うやり方。以前はSOAでプロセスベースのブローカーがは流行っていたけれど、今はデータベースが中心になってきている。Big Dataの影響だろう。

Tatsuya Kawano @tatsuya6502

MRで索引付きファイルを使うのは良いアイデアだと思います。Last.fmの事例があります。 http://t.co/98MYCwo RT @masayh: MapReduceのフルスキャンだけが気にいらないのなら、インデックスを考えたらいいのでは。 #hbaseworkshop

御徒町＠MultiVersionConcurrentClimber(MVCC) @okachimachiorz1

この方法は検討してます。RT @tatsuya6502: MRで索引付きファイルを使うのは良いアイデアだと思います。Last.fmの事例があります。 http://lanyrd.com/2010/huguk7/sxbw… (cont) http://deck.ly/~2Zir3

御徒町＠MultiVersionConcurrentClimber(MVCC) @okachimachiorz1

@tatsuya6502 Hbaseの特性はソート済ってことなのでHfileでとってくるというのは、Hbaseメリットの使い方ですね。他のKVSとは違うので。 #hbaseworkshop

Tatsuya Kawano @tatsuya6502

なるほど。頭出しできるソート済みデータってことですね。QT @okachimachiorz1: @tatsuya6502 Hbaseの特性はソート済ってことなのでHfileでとってくるというのは、Hbaseメリットの使い方ですね。他のKVSとは違う #hbaseworkshop

Tatsuya Kawano @tatsuya6502

HBase と Hibari DB は共通点が多い（キー順にソート、強い一貫性など）　一方Hibariが異なる点は、Read性能重視、複数KVトランザクション（制限付き）、２ノードから安定運用、全キーがメモリ常駐なので大規模では対策がいること。MR補完用途にはどちらが適してる？

船井　覚, Satoru Funai @satoruf

@tatsuya6502 MRtechみたいにHDFS互換レイヤー作って、透過的に扱えるようにしてください！

Tatsuya Kawano @tatsuya6502

ちなみに Hibari DB のデータ配置戦略はキーのprefix（先頭から区切り文字まで）によるDHT。キーレンジは quorum master のシステムテーブルで管理するので、データノード追加時のリバランスも容易。

浅海智晴 @asami224

MR以外にhbaseに適したユースケースが見つかるとすると、appengineのdatastoreにも適用できるのかな。ぼそ。

Tatsuya Kawano @tatsuya6502

.@satoruf ひょっとしてMapR？ SequenceFileみたいにKVを保存するなら、シーケンシャル／ランダムアクセス共に、Hibariでけっこういけそうですね。検討します。QT: MRtechみたいにHDFS互換レイヤー作って、透過的に扱えるようにしてください！

船井　覚, Satoru Funai @satoruf

@tatsuya6502 ああそうです、基幹業務向けなら千〜万台オーダーのスケーラビリティは多分必要無いので。

Tatsuya Kawano @tatsuya6502

@satoruf なるほど。アイデアありがとうございます。検討します（やってみます）

船井　覚, Satoru Funai @satoruf

@tatsuya6502 期待してます！

Sho Shimauchi @shiumachi

Hbase勉強会（第二回）に参加してきました - Taste of Tech Topic http://htn.to/mViqRb

Sadayuki Furuhashi @frsyuki

ブログ書いた。 "MessagePack Hadoop Integration (HBase勉強会)" http://d.hatena.ne.jp/viver/20110618/p1 #hbaseworkshop

御徒町＠MultiVersionConcurrentClimber(MVCC) @okachimachiorz1

ブログ書きました。「HbaseとHadoopMR」 http://bit.ly/iHaPf6