デブサミ2011【17-C-1】Big Dataを扱うアーキテクチャの原則 萩原正義 氏 / 福井厚 氏

Developers Summit 2011 セッション【17-C-1】に関するつぶやきをまとめました。 セッションを紹介したタイムテーブル http://www.seshop.com/se/timetable/2
5
トビー @t0v1

コンテキストアウェア、センサーネットワークなど大データをクラウド側アプリケーションで扱うー

2011-02-17 10:13:44
Fujio Kojima @Fujiwo

萩原さん、福井さんセッション。 @ 目黒雅叙園 http://instagr.am/p/BpkBZ/

2011-02-17 10:14:51
拡大
Masakazu Matsushita @matsukaz

#devsumi Big Dataを扱う理由。動画などのコンシューマ向け技術の発展によるクラウド上のデータ増大と Context Awareness (その人を取り巻く環境、コンテキストに合わせたサービス提供)。

2011-02-17 10:15:10
てるろー @terurou

通勤ラッシュがなぜ起こるか? #devsami #devsami17C1

2011-02-17 10:15:31
トビー @t0v1

BigDataの扱いの難しさと通勤ラッシュの発生の類似性

2011-02-17 10:15:43
Masakazu Matsushita @matsukaz

#devsumi 通勤ラッシュはなぜ起こるか。「電車のキャパシティを超えたため」「出勤時間による負荷の集中」「行く方向が同じ」などの意見。

2011-02-17 10:18:13
トビー @t0v1

通勤ラッシュはなぜ起こるか?ピーク時間帯がある、交通手段のキャパ?

2011-02-17 10:18:22
トビー @t0v1

受付窓口の有限性、処理時間、 ボトルネックは分けて考える必要がある

2011-02-17 10:20:46
Masakazu Matsushita @matsukaz

#devsumi Big Dataは有限のリソースを利用し、有限の窓口を提供せざる負えないことが制約の一つ。また、処理を受け付けたあとの処理時間も制約。この二つは分けて考える。N-tierで考えると、フロントはレイテンシー、バックエンドはスループットに関わるもの。

2011-02-17 10:22:57
トビー @t0v1

スケーラビリティを規定する代表的な2つのパラメータ Contention Coherency

2011-02-17 10:23:31
トビー @t0v1

Contention リソースを共有するとによるボトルネック

2011-02-17 10:24:41
Masakazu Matsushita @matsukaz

#devsumi Universal Scalability Law。Neil Guntherによる公式。スループットはContentionとCoherencyで制限される。

2011-02-17 10:24:53
トビー @t0v1

Coherency 複数ノード間での通信、制御のによるボトルネック

2011-02-17 10:25:47
Fujio Kojima @Fujiwo

Universal Scalability Law C(N) = N / (1 + Contention × (N - 1) + Coherency × N × (N - 1)) #devsumi

2011-02-17 10:27:11
てるろー @terurou

「SQLが生き残るかどうか?」「(RDBとは)他のデータモデルに対してはどうなるのか」 #devsami #devsami17C1

2011-02-17 10:27:38
トビー @t0v1

MapReduce等はCoherencyに効く

2011-02-17 10:28:12
Fujio Kojima @Fujiwo

【17-C-1】 「SQLは関係代数をベースにしている」 #devsumi

2011-02-17 10:29:36
トビー @t0v1

抽象度の高いレベルでは集合操作言語はnon-relatonalなデータにも適用できる

2011-02-17 10:32:36
Takuma SHIRAISHI @ts7i

RDB を使わないBig Data に対しての SQL の意義。SQL を抽象化することで集合演算に関する汎用性の高いデータ操作記述ができる#devsumi

2011-02-17 10:32:41