「分散システム処理モデルに関する動向について」に対する感想ツイート
-
- いいね！31
kuenishi
@kuenishi
やっぱり書いておこう。僕の理解と全然違っていて、目的の異なるシステムがごっちゃにされてると思う / “分散システム処理モデルに関する動向について（MapReduceからBorgまで） - Yahoo! JAPAN Tech Blog” htn.to/ffD7E1R
2015-06-11 22:00:40
kuenishi
@kuenishi
あと僕の理解だとMapReduceは分散システムじゃないかな。Distributed SystemsじゃなくてDistributed Processingの技術です
2015-06-11 22:07:18
kuenishi
@kuenishi
MapReduceがすごいのは、いろんな計算をMapとReduceという、参照透過な処理に押し込めたところなんだけど、参照透過にすると並列処理だけじゃなくて障害時に再実行できたり投機実行できたりするのもメリットなわけです
2015-06-11 22:09:22
kuenishi
@kuenishi
あと、MapReduceが普及したのはもうひとつ、ビッグデータのマエショリを簡単にしたからです。どんなフォーマットでも処理できた。従来の分散DB界はこれを軽視してた。これMapReduceがなくならない理由のひとつ。
2015-06-11 22:11:55
kuenishi
@kuenishi
GoogleがMapReduce使ってないと言ったのは、狭義には生でC++書くMapReduceはもう使ってないという話か、第一世代の実装を使ってないという意味であって、MapReduce的分散処理がなくなることはないと思う
2015-06-11 22:13:31
kuenishi
@kuenishi
Caffeinはリアルタイムじゃなくてインクリメンタル処理、だよねえ…おそらくスケジューリングの仕組みが全然違う（読んでない
2015-06-11 22:17:48
kuenishi
@kuenishi
DremelとMapReduceは全然目的が違うし、Nested Columnを分散処理に使ったところが当時インパクト強かったわけです。OLAP的な処理をMapReduceやってたら移行するかもしれないけど、全部移行するのはムリ
2015-06-11 22:19:18
kuenishi
@kuenishi
F1の論文、MapReduceのinputにできるよーと書いてあった（うろ覚え）だけで、フレームワークに対応とかそういう大袈裟な話ではなかったと思うが
2015-06-11 22:20:41
kuenishi
@kuenishi
MapReduceに性能的な問題があったって、あれが全盛だった2002年とか2004年はメモリがすげー高かったわけで、10年経ったら当然状況も違うんだよね。もしメモリ価格がいまの5倍とか10倍だったら普通にみんなMapReduce使うと思うんですよ
2015-06-11 22:22:49
kuenishi
@kuenishi
あとBigTableの列指向は巨大でSparseなテーブルを扱うためのものなので、その目的を説明しないと、他の列指向DBと区別つかないと思うよぉ
2015-06-11 22:33:10
kuenishi
@kuenishi
MegaStoreはトランザクションぽいところがキモなわけで、データモデルはBigTableから変わってないと記憶しているが、なんか間違ってたっけ（曖昧
2015-06-11 22:34:05