見逃したTweet～DAG絡み

Masayoshi Hagiwara @masayh

DAGのfault tolerant特性にも合いますね。しかもvertexの実装にはいろんなパラダイムが使えるのでいいです。vertex内の状態遷移の一貫性は別機構で@ashigeru 原子性のあるDAGは外側から見たら論理的にsingle vertexになってるのが理想的かな。

Suguru ARAKAWA @ashigeru

SourceからSinkへの依存関係は明記されるけど、逆は全く明記されないので、SSA変換がかけられたようなモデルを提供するか、それとも普通に依存関係を外から記述するかは微妙か。前者の方がDAGむきではあるけど、たぶん記述できない業務が出てくる

Suguru ARAKAWA @ashigeru

投機的実行に関しては、やっぱり危険辺の直前までやってしまうと考えるのがよさそう。トランザクション的には依存関係にあっても、ジョブ的に依存関係になく、さらに副作用のないジョブなら、リソースの空き状況に応じて先に発行しておくことも可能かな

Suguru ARAKAWA @ashigeru

ジョブを並列稼動する条件は、トランザクション単位での依存関係にないこと。ここでDAGの非循環性がきいてきて、強連結成分が混ざってるとデッドロックしてしまうことになる

Suguru ARAKAWA @ashigeru

トランザクション単位でのデータフローを意識したDAGと、Hadoopのジョブ単位を意識したDAGは層をなして考えた方がよさそう。トランザクション指定のないジョブは、暗黙に個別のトランザクション単位に見えるような感じかな

Suguru ARAKAWA @ashigeru

原子性のあるDAGは外側から見たら論理的にsingle vertexになってるのが理想的かな。チェックポイントもvertexごとに作るという前提にすると、原子処理のなかで失敗したら論理vertexのチェックポイント(=原子処理の最初)まで戻る感じ