HBaseで同一カラムに同一タイムスタンプのデータを登録した場合の挙動

Takuya UESHIN @ueshin

で、 https://issues.apache.org/jira/browse/HBASE-2406 でたくさん議論されてるけど英語読むのに時間がかかってるなう。。。しょんぼり。 #HBase

Takuya UESHIN @ueshin

Fix Version/s が0.90.0になってるってことは 0.20系と0.89/0.90系ではこの辺の挙動が違うかもしれないわけですね。 #HBase

Takuya UESHIN @ueshin

ちなみにうちの手元にあるのは #HBase 0.20.6です。

Takuya UESHIN @ueshin

後半は重複タイムスタンプとは違う話題のよう。ある時点tsでの最新データを取得するにはどうするの？に対してsetTimeRange(0, ts+1)を使いましょうと。 QT @ueshin: で、 http://bit.ly/8ZP9Qw でたくさん議論されてる... #HBase

Takuya UESHIN @ueshin

http://outerthought.org/blog/417-ot.html ここによるとタイムスタンプの扱いでいくつかバグがあるようだ。タイムスタンプをもう一つの次元として扱うのは推奨しませんって書いてある。#HBase

Takuya UESHIN @ueshin

と、英語を読むのが遅すぎてこんな時間。速く読めるようになりたい。。。 というわけで今日はここまでにしよう。

Takuya UESHIN @ueshin

@tatsuya6502 お知らせいただきありがとうございます。rowKeyにはキーたるべき値がすでにありますので、qualifierで同様に使えるかどうかを検討してみようと思います。

Tatsuya Kawano @tatsuya6502

@ueshin なるほど、qualifier としてタイムスタンプをセットするのもひとつの解ですね。

Takuya UESHIN @ueshin

これ再現しました。 昨日から放置してたやつに同じデータを突っ込んでみたらダブりました。 QT @ueshin: http://bit.ly/diciuw によると同じタイムスタンプを指定した両データの Put の間にflushが入ると、2つのデータができちゃう？ #HBase

ひしだま @hishidama

.@ueshin 自分が試しているのは#HBase 0.89.20100726（擬似分散環境）ですが、Putの間にフラッシュしてもしなくても別バージョンとしてGetされました。結局どういう仕様になるんでしょうねぇ…

Tatsuya Kawano @tatsuya6502

@ueshin @hishidama 最初の頃に @m_mouri さんが言っているように、 #HBase では受け付けたPutを全て保存して、Get/Scanの際にタイムスタンプが一番大きいものを最新バージョンとします。 http://togetter.com/li/45048

Tatsuya Kawano @tatsuya6502

@ueshin @hishidama @m_mouri #HBase がGet/Scanの時に重複したタイムスタンプをもつカラム値を見つけたら、両方を同順位として返すしかないです。レースで同タイムの選手を同順位にするのと同じ。優劣つけたかったら、じゃんけんで決めるしかない。

Tatsuya Kawano @tatsuya6502

@ueshin @hishidama @m_mouri 同じ理由で、指定したタイムスタンプを持つカラム値だけを削除することもできないです。仮に、それができるAPIがあったとして、同じタイムスタンプを持つカラム値を、Put、Delete、Putって順番で操作すると、 #HBase

Tatsuya Kawano @tatsuya6502

@ueshin @hishidama @m_mouri #HBase は、これらの２つのPutと１つのDeleteを全て記録します。Getの時に３つ見つかるわけですが、タイムスタンプが同じだと、DeleteがどのPutを指しているのか判断できません。

Tatsuya Kawano @tatsuya6502

@ueshin @hishidama @m_mouri ですから #HBase では、同じタイムスタンプを持つカラム値を２回以上 Put することはおすすめできません。

豊月 @yutuki_r

@2t3 @ashato ごめんHBaseのVersionの意味俺間違ってたかも。http://bit.ly/ab0b5w