HBaseで同一カラムに同一タイムスタンプのデータを登録した場合の挙動

Takuya UESHIN @ueshin

#HBase の動きがよくわからなくなってきた。。。同じカラムで同じタイムスタンプでも違うバージョンになるの？

Takuya UESHIN @ueshin

RubyのShellからダブって見えるだけなのかな。集計値は大丈夫そう。 QT @ueshin: #HBase の動きがよくわからなくなってきた。。。同じカラムで同じタイムスタンプでも違うバージョンになるの？

M.Mouri @m_mouri

@ueshin 詳しくはしらないけど、なるかも知れない。#HBaseでは追記しかしなくて、読み出しのときにソートして最新のタイムスタンプのカラムを取り出してたような。

ひしだま @hishidama

@ueshin #hbase shellから同じカラムに同タイムスタンプで入れて、Javaのgetで全部取り出せるので、別バージョンとして扱われているみたいですね

Takuya UESHIN @ueshin

なんと。 QT @hishidama: @ueshin #hbase shellから同じカラムに同タイムスタンプで入れて、Javaのgetで全部取り出せるので、別バージョンとして扱われているみたいですね

ひしだま @hishidama

@ueshin えーと、GetにsetMaxVersions()を指定すると全バージョン取れます。デフォルトのGetでは同じタイムスタンプの中でも最後に書き込んだものが取れています。が、これが保証されているのかどうかは分かりません…

Takuya UESHIN @ueshin

@hishidama デフォルトのGetでは、というのはsetMaxVersions()を指定しなかった場合ということですか？

ひしだま @hishidama

@ueshin そうです。（最新の）1バージョンだけ取れる状態です。

Takuya UESHIN @ueshin

@hishidama なるほど、setMaxVersions()を指定しなかったら、最新の1個が取得できて、指定したら同じタイムスタンプのものも複数取得できる感じですか。

ひしだま @hishidama

@ueshin そういう感じですね。たぶんHBaseのDB内では全バージョン持っていて、Getに指定されたバージョン数だけクライアント側に返しているだけだと思います。

Takuya UESHIN @ueshin

@hishidama ありがとうございます。バージョン＝タイムスタンプで厳密に指定できると思い込んでいたので、ちょっとこちらの設計を変える必要がありそうですね。。。もう少し動作確認してみます。

Takuya UESHIN @ueshin

どっちみち集計が重くてやり直しだったので頭を切り替える。というわけで今日はここまでにしよう。お休みの日とはいえ、明日（今日）は起きられるのか？

ひしだま @hishidama

@ueshin Getでタイムスタンプを指定すれば、その中の最新データを取れそうな感じはします。ただ、列ファミリー毎に最大バージョン数が決まっているので、同じタイムスタンプが別バージョンになると、バージョン数の設計で考慮する必要がありそうですね。勉強になりました。

Tatsuya Kawano @tatsuya6502

@ueshin @hishidama もしタイムスタンプをキーとして使いたいなら、rowIdのお尻に付けるのがおすすめです。そのときに、Long.MAX_VALUEから引いた値をつかうと、scanの際に最新から古いものへ順にreadできます。象本にサンプルが載ってます。

ひしだま @hishidama

.@tatsuya6502 タイムスタンプを #hbase のキーに入れる象本のサンプルって、p.384ですね。やはりこれが定石になるんですかね。

ひしだま @hishidama

どこかの導入事例で#HBase の採用理由のひとつに「バージョン管理が出来る」というのが入っていたような気がします。なのでタイムスタンプを使った履歴データもアプリケーションで使っていいかなーと思ったんですが。

ひしだま @hishidama

でも、同じカラムを同一タイムスタンプで上書く場合はバージョンが別になるようなので、履歴を使いたい場合は、同一タイムスタンプでデータ更新はすべきではない、と認識しました。#hbase

豊月 @yutuki_r

@hishidama me too

Tatsuya Kawano @tatsuya6502

@hishidama 実は Safari Books Online で英語版を購読しているだけなので訳本のページ番号はわからないのですが、はい、 RowKeyConverter#makeObservationRowKey() です。

Takuya UESHIN @ueshin

先日の #HBase のバージョン（タイムスタンプ）問題、再現しない。。。同じタイムスタンプのものを Put すると上書きされるようだ。

Takuya UESHIN @ueshin

でも確かに同じタイムスタンプのデータが存在する。。。なんじゃこりゃ。 #HBase

Takuya UESHIN @ueshin

出るなら出る、出ないなら出ない、ハッキリしろー。

Takuya UESHIN @ueshin

それっぽい議論発見。 まずは去年のやつ。 https://issues.apache.org/jira/browse/HBASE-997 によると同じタイムスタンプを指定した両データの Put の間にflushが入ると、2つのデータができちゃう？

Takuya UESHIN @ueshin

それっぽい議論発見。 まずは去年のやつ。 http://bit.ly/diciuw によると同じタイムスタンプを指定した両データの Put の間にflushが入ると、2つのデータができちゃう？ #HBase （タグ付け忘れた。

Takuya UESHIN @ueshin

これも去年のか。 https://issues.apache.org/jira/browse/HBASE-1485 によると重複したバージョンを返しますよと。同じバージョンだった時に返す順番をどうします？と？ #HBase