MapReduceでHBaseへ書き込むときの注意点

せちろー @sechiro

RT @hishidama: 先日@ueshinさんから教えていただいたTableOutputFormatの危険性についてのメモを書いた。http://t.co/Lmt1SQTK #hbase #hadoop

せちろー @sechiro

HBaseのTableOutputFormatの危険性って、前に見てたautoFlushがFalseになってるからってことかな？ Hadoop Hacksを見ればよいか。単純な追記で使うなら問題ないけど、データの更新みたいな処理だとTaskが落ちた時には戻せないよってことだと予想

Takuya UESHIN @ueshin

@sechiro あ、まさにその話ですよ。

せちろー @sechiro

@ueshin やた！ 前に聞いたときにそうなるなーと思ったんですよね。バルクロードの方がいいってのは、データ更新の時にReduceが終わったことを確認して、まとめて書き込めってことでしょうか？

せちろー @sechiro

HBaseをMapReduceの書き込み先に使う時には、単純なTaskのリトライだけで済むような処理しないと実装が大変になりそう。

Takuya UESHIN @ueshin

@sechiro TableOutputFormatには先日の問題もありますし、MapReduceとかでドカンとか書き込むのってちゃんと設定とかしてやらないと結構落ちやすいんですよね〜。

せちろー @sechiro

@ueshin 先日、落ちるのも実験してみましたｗ 落としたら復旧大変でヒドいことにｗ とはいえ、MapReduceで使えるってのが大きなメリットだと思うので、うまく使える方法を考えたいんですね。

Takuya UESHIN @ueshin

@sechiro そうですね。直接MapReduceから出力するのであれば、出力中にリージョン分割やメジャーコンパクションが起こらないようにするだけでも随分違います。

せちろー @sechiro

@ueshin 確かにJob中二リージョン分割とかメジャーコンパクションがフリーダムに起こると確かに危険そうですね。。。HBaseは使い方も含めてちゃんと設計してあげないとですね。いつもすごい早くのアドバイスありがとうございますー！

せちろー @sechiro

. @ueshin さんのあり得ない速さのレスっぷりから、さらにHadoop Hacksへの期待が高まりますね。

せちろー @sechiro

ステマではありません。

Takuya UESHIN @ueshin

@sechiro いえいえ、がんばってくださ〜い。

せちろー @sechiro

@ueshin ありがとうございますー！ Hadoop Hacksもポチったので読むの楽しみにしてますー

Takuya UESHIN @ueshin

@sechiro わー、ありがとうございます！

Sho Shimauchi @shiumachi

MR自分で書いてHBaseに書きこむのは、禁止とは言わないまでも「上級者向け」って警告しといた方がいい気がする / “MapReduceでHBaseへ書き込むときの注意点 - Togetter” http://t.co/YgeX5Wqp