HBase本(馬本）刊行記念 著者Lars George氏 来日特別セミナーまとめ
-
- いいね！8
Sho Shimauchi
@shiumachi
オライリー「HBase」刊行記念セミナーのハッシュタグ、とりあえず暫定で #hbaselars で。なんか問題ありましたらご連絡ください
2012-10-12 16:54:45
Sho Shimauchi
@shiumachi
(再掲)オライリー「HBase」刊行記念セミナーのハッシュタグ、とりあえず暫定で #hbaselars で。なんか問題ありましたらご連絡ください
2012-10-12 17:56:36
Sho Shimauchi
@shiumachi
オライリーでの原著者のサイン会つき講演イベントは Perl のラリー・ウォール氏以来らしい #hbaselars
2012-10-12 19:10:06
Sho Shimauchi
@shiumachi
HBase とは？色々な表現があるが、私はデータベースという言葉は使わず、データストアという言葉を使う #hbaselars
2012-10-12 19:16:09
Sho Shimauchi
@shiumachi
HBase プロジェクトのゴール。ペタバイトの処理を数千のコモディティサーバで行う。既にいくつかの会社で実現されていて、私はこの初期の目標は達成されたと思っている #hbaselars
2012-10-12 19:17:53
Sho Shimauchi
@shiumachi
HBase テーブルの説明。行と列のテーブルになっていて、行は行キーで管理される。全てのセル(行と列の交点)はバージョンを持ち、複数のバージョンを管理・閲覧可能。このバージョニングの部分が普通のスプレッドシートとは異なる #hbaselars
2012-10-12 19:22:39
Sho Shimauchi
@shiumachi
HBase のテーブルは論理的なもの。列(カラム)もカラムファミリに属していてロジカルに分割されている #hbaselars
2012-10-12 19:24:17
Sho Shimauchi
@shiumachi
物理的なディスク上でも分割・格納されている。カラムファミリ1とリージョン1で1ファイル、カラムファミリ2とリージョン1で1ファイル、というように #hbaselars
2012-10-12 19:25:30
Sho Shimauchi
@shiumachi
HBase のテーブルは行をアルファベット順でソートしたもの。各列ファミリの中には好きなだけ列を含めることができる。またバージョンも任意の数含めることが可能。特定の行・列・バージョンで表されるデータをセルという #hbaselars
2012-10-12 19:27:37
Sho Shimauchi
@shiumachi
HBase 上でデータを処理する場合、テーブル、行、列ファミリ、列、タイムスタンプを指定して処理を行う。これらを指定すると値が返ってくる。タイムスタンプは指定しなければ最も新しいものが返る #hbaselars
2012-10-12 19:29:50
Sho Shimauchi
@shiumachi
HBase における CRUD の API。get で R、put で C と U、delete で D。 #hbaselars
2012-10-12 19:31:15
Sho Shimauchi
@shiumachi
CRUD に加えて scan と increment が API として存在。スキャンは任意の範囲を取り出す、インクリメントはそのまま #hbaselars
2012-10-12 19:32:20
Sho Shimauchi
@shiumachi
さらに CAS (コンペアアンドスワップ) も存在。これにより get や check 、put 操作を組み合わせることができる #hbaselars
2012-10-12 19:33:06
Sho Shimauchi
@shiumachi
他にもたくさん機能がある。バッチ処理、ブルームフィルタ、などなど。全部は説明できないので紹介だけ #hbaselars
2012-10-12 19:34:38
Sho Shimauchi
@shiumachi
プロジェクトの紹介。まずは 0.90系。CDH3 に相当。マスターのリライト、行の中でのスキャニングなどを実装 #hbaselars
2012-10-12 19:36:05
Sho Shimauchi
@shiumachi
次は 0.92系。CDH4に相当。現在最もポピュラー。コードをリモートサーバにアップロードする、マルチデータセンターレプリケーション、アクセス制御など #hbaselars
2012-10-12 19:37:13
Sho Shimauchi
@shiumachi
0.94系。パフォーマンスリリース。WAL圧縮、プレフィックス圧縮、アトミック追記、アトミックput+delete。 CDH4.2 か CDH4.3 で導入される可能性が高い #hbaselars
2012-10-12 19:38:29
Tatsuo Kawasαki
@kernel023
CDH3のHBaseは0.90、CDH4は非常にメジャーな0.92ベース。パフォーマンスを大幅に改善して様々な改善をした0.94について説明中。CDH4.2またはCDH4.3に入る？ #hbaselars
2012-10-12 19:38:43
Sho Shimauchi
@shiumachi
最後は0.96系。プロトコルバッファを使ったRPC通信。これによりローリングアップグレードや複数バージョンへの同時アクセスが可能になる。 #hbaselars
2012-10-12 19:40:31
Sho Shimauchi
@shiumachi
0.96続き。メトリクスV2。バックアップに有用そうなスナップショット機能。PrefixTrieを用いたプレフィックス圧縮。もしかしたらCDH5に入るかも？ #hbaselars
2012-10-12 19:42:09