分散システムでquorumなお話

Masayoshi Hagiwara @masayh

eventual consistencyだけが緩い一貫性モデルだと思っている人。または、eventualの意味が非同期とほぼ同一の意味だと知らないこと。こういうことを理解せずにBig Dataとか言われても...

Masayoshi Hagiwara @masayh

今はquorum systemsがなぜ商用システムにあまり採用されていないかという点（たぶん性能面）と、クラウド技術への今後のインパクトを考えることが多い。

Masayoshi Hagiwara @masayh

quorumが過半数と同じと思っているとか。

ICHIRO SATOH @ichiro_satoh

技巧的な手法は運用がたいへんですから。単純でわかりやすいシステムの方が実際には歓迎されるのでしょうね。RT @masayh 今はquorum systemsがなぜ商用システムにあまり採用されていないかという点（たぶん性能面）と、クラウド技術への今後のインパクトを考えることが多い。

ICHIRO SATOH @ichiro_satoh

多様な揺る一貫性がありますからね。Eventual consistencyは単体レプリカにおける非同期的な更新をいっているだけなので、一貫性モデルにいれていいかも迷いますね。RT @masayh eventual consistencyだけが緩い一貫性モデルだと思っている人。…

ICHIRO SATOH @ichiro_satoh

はい、そうした方はいらっしゃいますね。分散システムの知識程度をみるのにはいい指標ですがね。RT @masayh quorumが過半数と同じと思っているとか。

ICHIRO SATOH @ichiro_satoh

Quorumベースの分散アルゴリズムは1990年代以降に流行り、超絶な技巧的な手法が提案されましたが、使われいる手法は1970年代末に提案された単純なものばかり。

Masayoshi Hagiwara @masayh

quorumを見るとそれ自体の理論的な説明はあっても、集合的なアプローチがどうした問題解決に有効か、クラウドの分散での課題に今後どうして適用していくか、有効性を見いだせる分野などの議論がないまま。理論だけが先行。これではいけない。

Masayoshi Hagiwara @masayh

分散システムの抽象化は、データモデル、集合論という進化をとっているとみることもできる。プロトコルの順序性の定義をいかにゆるく扱っていくかの流れ。でないと、複雑さを軽減できない。並列のモデルも同じ流れを感じる。

Masayoshi Hagiwara @masayh

わかりやすく説明すると複製の同一でないと可用性を与えられない。同一性は複製のデータ操作の順序に依存する。writeとreadの順序と考えていい。しかしその順序は無数の組み合わせがあって複雑。だから、順序を問題にしないデータ操作を考える。可換性。これでプロトコルはデータモデルになる

Masayoshi Hagiwara @masayh

いつまでもキャッシュはマスタースレーブの構造が有効と考えるのではなく、論理的なquorumを考えて、その物理構造へのマップの自由度を与えるようにキャッシュを考える。と別のブレークスルーが生まれるかもしれないというアプローチ。

ICHIRO SATOH @ichiro_satoh

90年代以降、Quorumベースを含め手分散アルゴリズムの研究は、アルゴリズムの証明自体が目的化してしまったものも多く、実システムとの親和性は少ないですからね。RT @masayh quorumを見るとそれ自体の理論的な説明はあっても、…

Masayoshi Hagiwara @masayh

そう感じました。もったいないことです。これだけの理論はありながら放置されているのは。@ichiro_satoh 90年代以降、Quorumベースを含め手分散アルゴリズムの研究は、アルゴリズムの証明自体が目的化してしまったものも多く、実システムとの親和性は少ないですからね

Masayoshi Hagiwara @masayh

あと、quorumの証明は前提条件がよくないですね。そこが実システムとのかい離を生んでいる理由だと思います。もっと妥当性のある条件でないと役立たないと思う。

ICHIRO SATOH @ichiro_satoh

可換に踏み込むと、細流度並列計算やトランザクションの世界だし、分散だけでなく、集中システムとも課題が共通化してきますね。RT @masayh 順序を問題にしないデータ操作を考える。可換性。これでプロトコルはデータモデルになる

Masayoshi Hagiwara @masayh

はい、抽象化では、できるだけ人間のマインドセットに近づけることが重要だとおもいます。遂次、ローカル、集中です。そうでないと理解が困難。human-friendlyということ。@ichiro_satoh 集中システムとも課題が共通化してきますね。

ICHIRO SATOH @ichiro_satoh

実はDECの衰退が背景にありまして。DECは分散アルゴリズムの研究者を数多く抱えており、彼らが分散アルゴリズムと実システムのつなぎ役になっていましたが、DECの衰退とともに純粋アルゴリズム研究化してしまった。RT @masayh そう感じました。もったいないことです。…

ICHIRO SATOH @ichiro_satoh

分散システムの抽象化は、透過性の名の下で分散を隠蔽する方向で進みましたが、散々たる結果に。分散システムは物理的制約を数多く抱え込むので、運用を含めた抽象化は大きな課題です。RT @masayh はい、抽象化では、できるだけ人間のマインドセットに近づけることが重要だとおもいます。…

Masayoshi Hagiwara @masayh

そうでしたか。quorumの成功事例ではVAXclusterの例が出るのはその背景があったからでしたか。いや、元DECとして誇らしい気分になりました。ありがとうございます。@ichiro_satoh 実はDECの衰退が背景にありまして。