編集部が選ぶ「みんなに見てほしい」イチオシまとめはこちら

HBaseで同一カラムに同一タイムスタンプのデータを登録した場合の挙動

HBaseで同一カラムに同一タイムスタンプのデータをputすると別バージョンとして扱われるようなので、アプリケーションではタイムスタンプをキーに含めない方が良さそう。
4924view 1コメント
9
Takuya UESHIN @ueshin
#HBase の動きがよくわからなくなってきた。。。同じカラムで同じタイムスタンプでも違うバージョンになるの?
Takuya UESHIN @ueshin
RubyのShellからダブって見えるだけなのかな。集計値は大丈夫そう。 QT @ueshin: #HBase の動きがよくわからなくなってきた。。。同じカラムで同じタイムスタンプでも違うバージョンになるの?
M.Mouri @m_mouri
@ueshin 詳しくはしらないけど、なるかも知れない。#HBaseでは追記しかしなくて、読み出しのときにソートして最新のタイムスタンプのカラムを取り出してたような。
ひしだま @hishidama
@ueshin #hbase shellから同じカラムに同タイムスタンプで入れて、Javaのgetで全部取り出せるので、別バージョンとして扱われているみたいですね
Takuya UESHIN @ueshin
なんと。 QT @hishidama: @ueshin #hbase shellから同じカラムに同タイムスタンプで入れて、Javaのgetで全部取り出せるので、別バージョンとして扱われているみたいですね
ひしだま @hishidama
@ueshin えーと、GetにsetMaxVersions()を指定すると全バージョン取れます。デフォルトのGetでは同じタイムスタンプの中でも最後に書き込んだものが取れています。が、これが保証されているのかどうかは分かりません…
Takuya UESHIN @ueshin
@hishidama デフォルトのGetでは、というのはsetMaxVersions()を指定しなかった場合ということですか?
ひしだま @hishidama
@ueshin そうです。(最新の)1バージョンだけ取れる状態です。
Takuya UESHIN @ueshin
@hishidama なるほど、setMaxVersions()を指定しなかったら、最新の1個が取得できて、指定したら同じタイムスタンプのものも複数取得できる感じですか。
ひしだま @hishidama
@ueshin そういう感じですね。たぶんHBaseのDB内では全バージョン持っていて、Getに指定されたバージョン数だけクライアント側に返しているだけだと思います。
Takuya UESHIN @ueshin
@hishidama ありがとうございます。バージョン=タイムスタンプで厳密に指定できると思い込んでいたので、ちょっとこちらの設計を変える必要がありそうですね。。。もう少し動作確認してみます。
Takuya UESHIN @ueshin
どっちみち集計が重くてやり直しだったので頭を切り替える。というわけで今日はここまでにしよう。お休みの日とはいえ、明日(今日)は起きられるのか?
ひしだま @hishidama
@ueshin Getでタイムスタンプを指定すれば、その中の最新データを取れそうな感じはします。ただ、列ファミリー毎に最大バージョン数が決まっているので、同じタイムスタンプが別バージョンになると、バージョン数の設計で考慮する必要がありそうですね。勉強になりました。
Tatsuya Kawano @tatsuya6502
@ueshin @hishidama もしタイムスタンプをキーとして使いたいなら、rowIdのお尻に付けるのがおすすめです。そのときに、Long.MAX_VALUEから引いた値をつかうと、scanの際に最新から古いものへ順にreadできます。象本にサンプルが載ってます。
ひしだま @hishidama
.@tatsuya6502 タイムスタンプを #hbase のキーに入れる象本のサンプルって、p.384ですね。やはりこれが定石になるんですかね。
ひしだま @hishidama
どこかの導入事例で#HBase の採用理由のひとつに「バージョン管理が出来る」というのが入っていたような気がします。なのでタイムスタンプを使った履歴データもアプリケーションで使っていいかなーと思ったんですが。
ひしだま @hishidama
でも、同じカラムを同一タイムスタンプで上書く場合はバージョンが別になるようなので、履歴を使いたい場合は、同一タイムスタンプでデータ更新はすべきではない、と認識しました。#hbase
Tatsuya Kawano @tatsuya6502
@hishidama 実は Safari Books Online で英語版を購読しているだけなので訳本のページ番号はわからないのですが、はい、 RowKeyConverter#makeObservationRowKey() です。
Takuya UESHIN @ueshin
先日の #HBase のバージョン(タイムスタンプ)問題、再現しない。。。同じタイムスタンプのものを Put すると上書きされるようだ。
Takuya UESHIN @ueshin
でも確かに同じタイムスタンプのデータが存在する。。。なんじゃこりゃ。 #HBase
Takuya UESHIN @ueshin
出るなら出る、出ないなら出ない、ハッキリしろー。
Takuya UESHIN @ueshin
それっぽい議論発見。 まずは去年のやつ。 https://issues.apache.org/jira/browse/HBASE-997 によると同じタイムスタンプを指定した両データの Put の間にflushが入ると、2つのデータができちゃう?
Takuya UESHIN @ueshin
それっぽい議論発見。 まずは去年のやつ。 http://bit.ly/diciuw によると同じタイムスタンプを指定した両データの Put の間にflushが入ると、2つのデータができちゃう? #HBase (タグ付け忘れた。
Takuya UESHIN @ueshin
これも去年のか。 https://issues.apache.org/jira/browse/HBASE-1485 によると重複したバージョンを返しますよと。同じバージョンだった時に返す順番をどうします?と? #HBase
残りを読む(16)
ログインして広告を非表示にする
ログインして広告を非表示にする