2012年10月13日

HBase本(馬本)刊行記念 著者Lars George氏 来日特別セミナーまとめ

2012/10/12にオライリー・ジャパン&Cloudera共催によるHBase本著者 Lars Georgeさん、翻訳者の玉川さんによるセミナーのまとめです http://www.oreilly.co.jp/editors/archives/2012/09/hbaselars-georg.html
13
Sho Shimauchi @shiumachi

オライリー「HBase」刊行記念セミナーのハッシュタグ、とりあえず暫定で #hbaselars で。なんか問題ありましたらご連絡ください

2012-10-12 16:54:45
Sho Shimauchi @shiumachi

(再掲)オライリー「HBase」刊行記念セミナーのハッシュタグ、とりあえず暫定で #hbaselars で。なんか問題ありましたらご連絡ください

2012-10-12 17:56:36
Sho Shimauchi @shiumachi

それじゃ今から会場向かいます #hbaselars

2012-10-12 17:56:50
Sho Shimauchi @shiumachi

オライリーでの原著者のサイン会つき講演イベントは Perl のラリー・ウォール氏以来らしい #hbaselars

2012-10-12 19:10:06
Suzuki Tomohiro @suztomo

通訳のひとがいるすごい。 > @shiumachi: それじゃ今から会場向かいます #hbaselars

2012-10-12 19:13:22
Sho Shimauchi @shiumachi

今日のアジェンダ: HBase の紹介、プロジェクトの現状、クラスタのサイジング #hbaselars

2012-10-12 19:14:18
Sho Shimauchi @shiumachi

HBase とは?色々な表現があるが、私はデータベースという言葉は使わず、データストアという言葉を使う #hbaselars

2012-10-12 19:16:09
Sho Shimauchi @shiumachi

HBase プロジェクトのゴール。ペタバイトの処理を数千のコモディティサーバで行う。既にいくつかの会社で実現されていて、私はこの初期の目標は達成されたと思っている #hbaselars

2012-10-12 19:17:53
Sho Shimauchi @shiumachi

HBase テーブルの説明。行と列のテーブルになっていて、行は行キーで管理される。全てのセル(行と列の交点)はバージョンを持ち、複数のバージョンを管理・閲覧可能。このバージョニングの部分が普通のスプレッドシートとは異なる #hbaselars

2012-10-12 19:22:39
Sho Shimauchi @shiumachi

HBase のテーブルは論理的なもの。列(カラム)もカラムファミリに属していてロジカルに分割されている #hbaselars

2012-10-12 19:24:17
Sho Shimauchi @shiumachi

物理的なディスク上でも分割・格納されている。カラムファミリ1とリージョン1で1ファイル、カラムファミリ2とリージョン1で1ファイル、というように #hbaselars

2012-10-12 19:25:30
Sho Shimauchi @shiumachi

HBase のテーブルは行をアルファベット順でソートしたもの。各列ファミリの中には好きなだけ列を含めることができる。またバージョンも任意の数含めることが可能。特定の行・列・バージョンで表されるデータをセルという #hbaselars

2012-10-12 19:27:37
Sho Shimauchi @shiumachi

HBase 上でデータを処理する場合、テーブル、行、列ファミリ、列、タイムスタンプを指定して処理を行う。これらを指定すると値が返ってくる。タイムスタンプは指定しなければ最も新しいものが返る #hbaselars

2012-10-12 19:29:50
Sho Shimauchi @shiumachi

HBase における CRUD の API。get で R、put で C と U、delete で D。 #hbaselars

2012-10-12 19:31:15
Sho Shimauchi @shiumachi

CRUD に加えて scan と increment が API として存在。スキャンは任意の範囲を取り出す、インクリメントはそのまま #hbaselars

2012-10-12 19:32:20
Sho Shimauchi @shiumachi

さらに CAS (コンペアアンドスワップ) も存在。これにより get や check 、put 操作を組み合わせることができる #hbaselars

2012-10-12 19:33:06
E.Matsuzaki @matu0079

#hbaselars shiumachi さんのツイート マジでありがたい

2012-10-12 19:34:35
Sho Shimauchi @shiumachi

他にもたくさん機能がある。バッチ処理、ブルームフィルタ、などなど。全部は説明できないので紹介だけ #hbaselars

2012-10-12 19:34:38
Sho Shimauchi @shiumachi

プロジェクトの紹介。まずは 0.90系。CDH3 に相当。マスターのリライト、行の中でのスキャニングなどを実装 #hbaselars

2012-10-12 19:36:05
Sho Shimauchi @shiumachi

次は 0.92系。CDH4に相当。現在最もポピュラー。コードをリモートサーバにアップロードする、マルチデータセンターレプリケーション、アクセス制御など #hbaselars

2012-10-12 19:37:13
Sho Shimauchi @shiumachi

0.94系。パフォーマンスリリース。WAL圧縮、プレフィックス圧縮、アトミック追記、アトミックput+delete。 CDH4.2 か CDH4.3 で導入される可能性が高い #hbaselars

2012-10-12 19:38:29
Tatsuo Kawasαki @kernel023

CDH3のHBaseは0.90、CDH4は非常にメジャーな0.92ベース。パフォーマンスを大幅に改善して様々な改善をした0.94について説明中。CDH4.2またはCDH4.3に入る? #hbaselars

2012-10-12 19:38:43
Tatsuo Kawasαki @kernel023

開発バージョンは0.96。”特異性”。CDH5か? #hbaselars

2012-10-12 19:40:06
Sho Shimauchi @shiumachi

最後は0.96系。プロトコルバッファを使ったRPC通信。これによりローリングアップグレードや複数バージョンへの同時アクセスが可能になる。 #hbaselars

2012-10-12 19:40:31
Sho Shimauchi @shiumachi

0.96続き。メトリクスV2。バックアップに有用そうなスナップショット機能。PrefixTrieを用いたプレフィックス圧縮。もしかしたらCDH5に入るかも? #hbaselars

2012-10-12 19:42:09
残りを読む(71)

コメント

コメントがまだありません。感想を最初に伝えてみませんか?