KVS入門にまつわるKVSな議論 - Togetter
Twitterのつぶやきマッシュアップメディア!
@togetter_jpをフォロー
マイページ
メニュー
設定
ログイン
トップ
ニュース
社会
地域
芸能・スポーツ
IT・Web
科学・教養
カルチャー
趣味
生活
仕事
ネタ・お笑い
ログ・日記
震災
311
原発
支援物資
放射能
物資
援助
復興
速報
国内
アジア
アメリカ
ヨーロッパ
その他
政治
経済
国際
法律
環境
コラム
東京
東京近郊
北海道
東北
関東
北陸・信越
東海
近畿
中国・四国
九州・沖縄
海外
芸能
テレビ
ラジオ
野球
サッカー
ゴルフ
格闘技
競馬
モータースポーツ
その他
Android
Apple
インターネット
パソコン
モバイル
ガジェット
サイト制作
プログラミング
その他
科学
テクノロジー
エネルギー
数学
物理
宇宙
自然
人文
建築
心理
その他
アニメ
ゲーム
マンガ
アイドル
映画
音楽
書籍
演劇
ファッション
社会学
カメラ
車・バイク
電車
旅行
釣り
歴史
アート
デザイン
動物
その他
ハウツー
レシピ
グルメ
恋愛
マネー
節約
健康・医療
教育
ペット
起業・ベンチャー
経営
マーケティング
会計・人事
法務
就職・転職
語学・資格
ネタ
お笑い
大喜利
画像・動画
やってみた
その他
ログ
日記
思い出
雑談
メモ
飲み会
議事録
イベント
セミナー
復興
原発
支援
政府
自治体
トップ
>
トップ
>
311
> KVS入門にまつわるKVSな議論
2010/05/21 16:08:15
ibm
kvs入門
memcached
kvs
cassandra
+
KVS入門にまつわるKVSな議論
IBMが作成した"KVS入門"をめぐる議論。
by
rika_t
7 fav
1861 view
Fav
7
お気に入りに登録ならここをクリック!
まとめ
メニューを開く
一括削除
「KVS入門」公開しました!KVSを初めて学ぶ方を意識して、厳密性は多少犠牲にして、分かりやすく書いています。(BASEな感じで。。。)改善コメントWelcomeです。
http://bit.ly/d3ld95
返信する
RTする
ふぁぼる
enakai00
2010/05/19 15:02:16
拝見しました。初心者に優しい内容で良いですね。2点改善コメントがあります(続く)QT
@enakai00
:「KVS入門」公開しました!KVSを初めて学ぶ方を意識して、厳密性は多少犠牲にして、分かりやすく書いています。
http://bit.ly/d3ld95
返信する
RTする
ふぁぼる
tatsuya6502
2010/05/19 19:00:16
.
@enakai00
まず、 HBase の管理ノードがSPOFと書かれてますが、これはどのノードでしょうか? もしHBase Masterでしたら、実際はActive - Stand by構成に対応してます。 HBase multiple mastersで検索してください
返信する
RTする
ふぁぼる
tatsuya6502
2010/05/19 19:15:00
.
@enakai00
もしSPOFが HDFS Name Node のことでしたら、それは正しいです。ちょっと苦しいのですか、DRDBとHeartbeatで回避するのが一般的なようです。Hadoopユーザー会のNTT Dataさんの資料で紹介されていたと思います。
返信する
RTする
ふぁぼる
tatsuya6502
2010/05/19 19:16:15
.
@enakai00
もう一点は細かい話なのですが、 HBase は、4月の下旬から Apache Software Foundation のTLP(トップレベルプロジェクト)になりました。現在、メーリングリストやサイトのURLを移行中です
返信する
RTする
ふぁぼる
tatsuya6502
2010/05/19 19:20:40
@enakai00
cassandraのデータモデルというところが、HBaseが主語になってます。
返信する
RTする
ふぁぼる
shot6
2010/05/19 19:26:37
@tatsuya6502
DRBD+Heartbeatもいいですが、NameNode自体で冗長化してほしいところですよね。AvatorNameNodeに期待してます。
返信する
RTする
ふぁぼる
shot6
2010/05/19 19:27:31
@enakai00
あ、失礼しました。HBaseとの比較のためにそういう書き方をしているのですね。私の読み方がまずかったです。
返信する
RTする
ふぁぼる
shot6
2010/05/19 19:28:40
@enakai00
ACID特性という切り口でも良いのですが、CAPのどれを重視しているのかという観点があるともっとよくなると思いました。HBaseとCassandraの違いがよくわかるので。
返信する
RTする
ふぁぼる
shot6
2010/05/19 19:41:07
@enakai00
ACID特性という切り口でも良いのですが、CAPのどれを重視しているのかという観点があるともっとよくなると思いました。HBaseとCassandraの違いがよくわかるので。
返信する
RTする
ふぁぼる
shot6
2010/05/19 19:41:07
@tatsuya6502
もろもろコメントありがとうございます。はい。SPOFはHDFSのNameNode / SecondaryNameNodeです。補足しておきますね。TLP移行のところも補足しておきます。
返信する
RTする
ふぁぼる
enakai00
2010/05/19 21:07:38
@shot6
CAPの記述も考えたのですが、(このガイドの読者として意識している)RDBな世界の方には、ACIDとCAPの微妙な定義の違いから入らないといけないのと、ACIDに比べて歴史の短いCAPは人によって定義が変わることがあるので、とりあえず、避けました。。。
返信する
RTする
ふぁぼる
enakai00
2010/05/19 21:30:24
@enakai00
KVS入門を拝見しました。「KVSの特徴」ですが、そこに至る文脈から『KVS=BigTableライク・column-orientedなもの』とは読み取れます。しかしmemcache系のシンプルなデータモデルのものはKVには含まれないようにも読み取れてしまいます
返信する
RTする
ふぁぼる
terurou
2010/05/19 21:51:33
@terurou
はい。広い意味では、memcachedもKVSと考えています。が、KVSという言葉の歴史が浅く、人によって定義がことなることがあるので、この資料では、Bigtableライクなものに記述をしぼっています。(とはいえ、コメントはつけておきます。)
返信する
RTする
ふぁぼる
enakai00
2010/05/19 22:08:43
@enakai00
CAPの定義があまり変わるとは思えませんです。ACIDだけでは重要なP(分割耐性)が説明できないので、そこは補足すべきではと思うのですがいかがでしょうか。
返信する
RTする
ふぁぼる
shot6
2010/05/19 23:11:01
@shot6
なるほど。。。ちなみに、C, A, P をそれぞれ、どのように定義されています?(私の頭の中の定義がそもそも違うとどうしようもないので。。。。)
返信する
RTする
ふぁぼる
enakai00
2010/05/19 23:21:44
@enakai00
140文字で書くのも難しいですが、BrewerのCAP定理のとおりConsistency、Availability、Partition Toleranceですね。Pの解釈ですが、ネットワークが分断されたときにシステム全体が停止せず動作するかどうか、です。
返信する
RTする
ふぁぼる
shot6
2010/05/19 23:29:51
@shot6
・・・とすると、例えば、HDFSの標準的な構成では、クラスターが2つに分断されるとデータブロックの不足でHDFSが停止する可能性があるので、HBaseはPが○にならない気がしますが、この理解はあってますか?
返信する
RTする
ふぁぼる
enakai00
2010/05/19 23:36:36
@enakai00
そうですね。HBaseはCAPでいうとCAを重視していると思います。
返信する
RTする
ふぁぼる
shot6
2010/05/20 00:03:42
一貫性の話も、読み込み時にクライアントから見える一貫性の話と、実際の永続化したデータとしての一貫性の話というパースペクティブの違いも実はありますね。突き詰めるとConsistentとは何か、というはなしに・・・
返信する
RTする
ふぁぼる
shot6
2010/05/20 00:08:14
@shot6
うーん。
http://bit.ly/cxErPX
を読むと、「分割したらConsistencyを欠く結果を出さない様、分割が回復するまで待つ(その間システムは停止する)」のもOKなのがPの定義です。この定義だとHBaseはPが○?CAPに詳しい方、ヘルプを。。。
返信する
RTする
ふぁぼる
enakai00
2010/05/20 00:13:53
@enakai00
HBaseはPが得意ではないですね。仰るようにHDFSのノードダウンでのブロック不足の場合ダメですから。そのケースではDataNodeが復旧されるまで待つことになります。ご指摘の部分はCAP定義の部分ではなく、分解耐性諦め路線の場合の対策という理解です。
返信する
RTする
ふぁぼる
shot6
2010/05/20 00:21:12
お世話になったこともあるので、あえて書きますが、「KVSとは」が、memcache と Column Oriented と設計思想の異なるものがなぜか一緒くたに書かれているので、"入門"としてはすごくまずい気がします。 to
@enakai00
返信する
RTする
ふぁぼる
yssk22
2010/05/20 00:23:33
@yssk22
なるほど。そこでしたか。ありがとうございます。
返信する
RTする
ふぁぼる
enakai00
2010/05/20 00:34:45
というわけでACMであさってみた。Brewer's conjecture and the feasibility of consistent, available, partition-tolerant web servicesというのは発見。明日読んでみます。
返信する
RTする
ふぁぼる
shot6
2010/05/20 00:35:12
Content from Twitter
残りを読む(51)
ブログへ
iframe版
拡張版
張付けプレビュー
Fav
7
あわせて読みたい
flashcacheの諸情報!
mixi 接続障害に関するCTOコメント
mixiがはまったmemcached(or libevent?)の問題を調べる人たち
第3回クラウド勉強会「~NoSQL(KVS)大集合~」 #cloudstudy まとめ
CTO48がつぶやいた2010年8月のミクシィ障害関連のツイートまとめ
powered by Preferred Infrastructure
コメント
現時点までの議論を追加。
返信
rika_t
2010/05/23 16:23:15
0
コメントを入力してください。
Twitterにも投稿する
みんなのおすすめ商品
商品を編集
おすすめ商品を登録する
設定を変更する
まとめを作成する
プロフィール
フォローする
まだ自己紹介が設定されていません。
rika_t
twitter
rss
アップデート
まとめ
1
2
KVS入門にまつわるKVSな議論
コメント
1
新着のまとめ
感想まとめ 【NHKスペシャル未解決事件:オウ..
new
フジテレビ系「新堂本兄弟」に沸き立つ、西川クラ..
new
国会事故調 第15回委員会 参考人:枝野幸男 ..
new
知識処理論第6回
new
深夜のもちゃもちゃ
new
もっと見る
@togetter_jp
最近追加された商品
桜田淳子と統一教会のウソ (News package chase (121))
ワールド・フィギュアスケート 53
【送料込】熊本県産 『奇跡の卵王』 新鮮たまご1パック(10個入)
救世主の野望―オウム真理教を追って
「オウム真理教」追跡2200日
オススメ
マイスター
トゥギャ通
学会開催校の恨み
黙れ小僧!お前に◯◯学の不幸が癒せるのか
up
買い物弱者とiPadの話
中核派が北九州瓦礫受け入れ妨害行為への関与を宣言
昭和初期の『格差』について
MIT から低線量被曝影響の研究論文〜自然放射..
もっと見る
深夜の東大生を中心に発生した「たのしい人生」TL
new
「女川」ツイートまとめメモ 2012/05/2..
new
らいおん君稼動1周年記念オリコ・結果発表まとめ
new
江川紹子さんがつぶやく 「NHKスペシャル 未..
new
落合洋司弁護士がつぶやく 「NHKスペシャル ..
new
NHKスペシャル 未解決事件 File.02 ..
new
もっと見る
第80回「日食写真と昭和格差」
号外「みんなの金環日食まとめ―画像から教養ま..
第79回「虚構新聞とJリーグ」
第78回「コンプガチャとIT系かあちゃん」
第77回「びろーんと自宅警備隊」
第76回「Appleとパンツクッキー」
もっと見る
コメント