第2回HBase勉強会 #hbaseworkshop
-
- いいね！1
ohtsuchi
@ohtsuchi
自宅でUst視聴なう。 @ueshin さんの声が聞こえるｗ #hbaseworkshop http://t.co/f6txrWI
2011-06-16 19:20:42
加藤英也(ヒデ) | Shopify本📗著者 | Shopifyメカニック⚒
@jazzyslide
フラッシュ時の追記でこけた時にデータが消えるなどの可能性があるのでHadoopの0.20.1のappendブランチを使う #hbaseworkshop
2011-06-16 19:23:20
加藤英也(ヒデ) | Shopify本📗著者 | Shopifyメカニック⚒
@jazzyslide
現状ではCDH3を使うのがいい。 #hbaseworkshop
2011-06-16 19:24:32
MATSUO a.k.a マッツォ
@understeer
メジャーコンパクションが走ると待つ。デフォルトは24時間ごとに勝手に走るが、任意に走らせることも可能。 #hbaseworkshop
2011-06-16 19:24:57
MATSUO a.k.a マッツォ
@understeer
ZooKeeperは応答が遅かったり切断されるので複数台にすべし。１台だと直ぐに落ちる。少なくとも３台。#hbaseworkshop
2011-06-16 19:25:39
加藤英也(ヒデ) | Shopify本📗著者 | Shopifyメカニック⚒
@jazzyslide
メジャーコンパクションは24時間に一回がデフォルトだが、走ってしまうとコントロールできないのでオフにしてcronで動かす #hbaseworkshop
2011-06-16 19:26:38
MATSUO a.k.a マッツォ
@understeer
ZooKeeper２台構成はやらないでください、とのこと。２台で１台が死ぬと落ちるようになっている。#hbaseworkshop
2011-06-16 19:26:39
MATSUO a.k.a マッツォ
@understeer
ZooKeeperノードの負荷が高いと切断されやすい。クラスタは奇数で作るべし。#hbaseworkshop
2011-06-16 19:27:05
豊月
@yutuki_r
HBaseは不安定。多分ある程度の規模があれば安定するんじゃないか？HDFSとHBaseを同居させるか否か #hbaseworkshop
2011-06-16 19:29:15
MATSUO a.k.a マッツォ
@understeer
HBaseはまだ不安定。ある程度の規模が前提。HBaseクラスタ上でMRを動かすべきか否か。#hbaseworkshop
2011-06-16 19:29:19
MATSUO a.k.a マッツォ
@understeer
Asakusaとしては、HadoopMRの足りない部分をHBaseで補いたい。#hbaseworkshop
2011-06-16 19:30:42
豊月
@yutuki_r
浅草ではMRで足りない部分を補う。MRはフルスキャン前提。MRの次は、フルじゃないけど時々フルというデータ。マスターとTXデータとか。マスタがメモリに乗ればいいけど、サイズ的にきつい事がある。あと繰り返し利用するデータも問題。 #hbaseworkshop
2011-06-16 19:31:38
MATSUO a.k.a マッツォ
@understeer
HBaseを業務系のオンライン・マスター管理として考えてみる。更新は同期じゃないといけない。Atomicじゃないといけない。#hbaseworkshop
2011-06-16 19:33:26