「分散システム処理モデルに関する動向について」に対する感想ツイート

どなたか分散処理システムの歴史書を書いて下さい(懇願。 http://techblog.yahoo.co.jp/architecture/2015_06_ditributed_system/
15
前へ 1 2 ・・ 8 次へ
kuenishi @kuenishi

あとそうそう、SpannerのTrueTimeの話に触れてないので、サーベイとしては片手落ちだと思うのだけど、重要ではないと思った理由はなにかあるのかしら。

2015-06-11 22:35:03
kuenishi @kuenishi

OH: (MegaStoreは) メガな感じのストアですよ…

2015-06-11 22:35:50
kuenishi @kuenishi

あと、F1とMegaStoreはインデックスまわりの構造が違っていたけど、基本的には同じデータモデルだよね「あー、やっぱこうなるよねー」的な

2015-06-11 22:37:45
kuenishi @kuenishi

Mesaは恥ずかしながら論文読んでないのでスキップ

2015-06-11 22:38:11
kuenishi @kuenishi

あとBorg推す人はOmegaSchedulerとの関係を教えてほしいですね。Condorからの流れまで出てるとモアベター

2015-06-11 22:38:36
kuenishi @kuenishi

Prestoでデータモデルが抽象化されたって書いてあるけど、単にSQL風のやつを強制されるだけですよ。コネクタを書けばわかる

2015-06-11 22:39:22
kuenishi @kuenishi

Shuffleが単純な論理和になるって、Hash Joinを知らないで言ってるのかな、そんなわけないよな

2015-06-11 22:40:24
kuenishi @kuenishi

そういえばORCとかParquetとか出てこないな。あとManhattanか。Pumaもリアルタイム処理としてはまあ押さえておく必要がある

2015-06-11 22:42:01
kuenishi @kuenishi

Borg, YARNとプログラミングモデルってなんか関係あるのかしら…

2015-06-11 22:45:38
kuenishi @kuenishi

ともかく、次回がコンセンサスまわりのサーベイということなので、今から楽しみ

2015-06-11 22:47:36
tagomoris @tagomoris

@kuenishi 私見ですが、リソースマネージャがどういうものかによってその上で動くアプリケーションの書き方は変わると思います

2015-06-11 22:48:26
kuenishi @kuenishi

@kazunori_279 ポロリを期待してたのに…!!!

2015-06-11 22:49:05
Kazunori Sato @kazunori_279

@kuenishi いや、うえにしさんの一連のツイートで私の認識とあってます :)

2015-06-11 22:51:39
Sadayuki Furuhashi @frsyuki

ふむ。分散データ処理システムの歴史と概念に関する一般化された説明が試みられて、例に漏れず認識のズレが露見しているらしい。

2015-06-11 22:52:00
kuenishi @kuenishi

@tagomoris うーん、ちょっと僕には自明ではないですね…

2015-06-11 22:54:32
Kazunori Sato @kazunori_279

ひとつだけ。YARNはHadoop専用だけど、BorgはGoogleの文字通りすべてなので、適用範囲がまるきり違う。

2015-06-11 22:55:00
Sadayuki Furuhashi @frsyuki

@kazunori_279 いやいや、YARNもHadoop専用ではない(と言われて)ますよ!

2015-06-11 22:57:39
kuenishi @kuenishi

P. Bailis とか Hellerstein の動向も追っておくべきなのでは(追記)RiakのCRDTとPaxosは何の関係もありません / “分散システムの一貫性に関する動向について - Yahoo! JAPAN Tech …” htn.to/Si2vPiB

2015-06-11 23:02:56
Kazunori Sato @kazunori_279

@frsyuki あ、そうか。じゃあ本質的にはBorgと比較できるのかな。ノード数の規模を除けば。

2015-06-11 23:05:32
Kazunori Sato @kazunori_279

台湾DC行ったときに見た見渡すかぎりのサーバー群、ぜんぶBorg管理だったから、台数は推して知るべし。

2015-06-11 23:07:21
kuenishi @kuenishi

@tagomoris や、単に実際YARNとかMesos触ってアプリ書いてみないと分からないんだろうなーというくらいの軽い意味です

2015-06-11 23:07:28
tagomoris @tagomoris

@kuenishi そうかもですね。アプリケーションがどこまで責任を持たないといけないかがモノによって違うので、それがアプリケーションの実装にそれなりに影響を与えると思います。

2015-06-11 23:09:02
tagomoris @tagomoris

@kazunori_279 @frsyuki くそうさりげなくノード数を自慢しやがって!

2015-06-11 23:09:37
前へ 1 2 ・・ 8 次へ