- marblejenka
- 5514
- 0
- 8
- 1
良い要約。ustで見る方は見ながら聞くと良いと思います。感謝。/ 第1回HBase勉強会に参加しました #hbaseworkshop - nokunoの日記 (id:nokuno / @nokuno) http://t.co/0C84oCO
2011-05-21 11:09:52HBase のリージョン再配置の問題と、障害時の負荷の伝搬による障害波及の問題は、監督役のノード(HMaster)や分散ファイルシステムを採用しているHBaseでは解決しやすいはず。他の設計を参考に改良していきたい。 #hbaseworkshop
2011-05-21 13:47:08昨日 #hbaseworkshop で勉強させていただいて さらにHBase利用シーンが見えなくなった初心者です
2011-05-21 13:55:57電車の中で自宅から持ってきた日経システムズ 2010年11月号を読んでる。 @masayh さんの「クラウドの設計セオリー第2回」を読み直すのが目的。
2011-05-22 12:24:13うーん HBase は列指向ではなく、希薄な行に特化しているので、このアーキテクチャには向かないかもしれない。 QT @tatsuya6502: 日経システムズ 2010年11月号を読んでる。 @masayh さんの「クラウドの設計セオリー第2回」を読み直すのが目的。
2011-05-22 12:47:59HBaseのリバランシング、知りたいことが分かった。リージョン(レンジパーティション)分割時には、同じサーバー内で分割してレイテンシはほとんど変わらない。たまにバランサーが走って、暇なときにバランスする。そのときアクセスがあると数秒~10数秒待たされる。by HBase勉強会
2011-05-22 13:10:34NoSQLの大半はshardingなどのデータ分割によりメモリにデータをロードして性能を稼ぐことを重視しますが、カラム指向はカラム単位の圧縮とストリーム処理でCPUキャッシュで処理します。その結果RAMベースに比べても圧倒的な性能を出します。カラム指向はその点を見ないといけない。
2011-05-22 13:12:11CPUキャッシュを利用したカラム指向の技術には、たとえば、VectorWiseやOpenDremelのMetaxaArchなどの先進的な例があります。
2011-05-22 13:15:275/20の HBase ワークショップで使用したスライドです。準備不足で空白のスライドもちらほら。 http://www.slideshare.net/tatsuya6502/hbase-workshop-in-tokyo-001 #hbaseworkshop #hbase
2011-05-22 20:01:32HBaseでの質問で言いたかったこと。churn耐性の問題から100台程度までしかスケールしないのでしょう。つまりそのサイズのクラスタを前提としている。それ以上を目指すなら、Distributed Hash Tableを使わないといけない。設計段階でかなり適用領域を限定している。
2011-05-23 06:46:01HBaseの疑問。MapReduceはバッチ処理の性格上、HDFSへはscanしかaccess pathを持っていないという理解。だから、性能を上げるのは少なくとも構造化データに対してはスキーマを入れてインデックスを生成するのが基本では。なぜインデックスを持たないのかという疑問。
2011-05-23 06:49:26HBaseはMapReduceとの親和性を謳うのならば、Hiveなどの上位言語のサポートが必要だと思います。RESTライクなデータ操作だけでは限定的のような気もするけれど。
2011-05-23 06:59:30kj-kiさんの「HBase勉強会行ってきました」 http://d.hatena.ne.jp/kj-ki/20110523/p1 #hbaseworkshop
2011-05-23 20:23:40okachimachiorzさんの「HBase勉強会(第一回)に感想戦」 http://d.hatena.ne.jp/okachimachiorz/20110524/1306250549 #hbaseworkshop
2011-05-26 03:56:16書いたった!メモ書き程度の予定が思いのほか膨らんだ。それだけ話したいことがあったのに。。。次回またがんばります!> HBaseワークショップ(第一回) - Happy-Camper Street http://t.co/TYyoiQP
2011-05-28 23:04:19