# AsakusaReading Asakusaソースコードリーディング（第一回）
-
marblejenka
- 2575
- 0
- 1
- 0
-
- いいね！0
@nsiena
「意味解析: BatchCompiler: データフローを処理するコンパイラに委譲。Workflow 中の Work* の依存関係をグラフ構造で表し、詳細な計画を立てる。 #AsakusaReading
2011-05-25 20:13:31
Hidenori nhide Nakamura
@nhide
ここからJobflowのレイヤーです。#AsakusaReading (live at http://ustre.am/z663)
2011-05-25 20:13:53
@nsiena
「データフローのコンパイル: 1. データフローの分析をし、エラーチェック, 2. ステージグラフを生成, 3. MR ジョブごとにシャッフル構造の分析、M,Rプログラムの生成、シャッフル情報の生成、ジョブクライアントの生成。4. 生成。 #AsakusaReading
2011-05-25 20:16:00
@nsiena
「JobFlowDriver で FlowGraph を生成。この時点では多層化されたままで、後のコンパイルステージで平坦化を行なう。 #AsakusaReading
2011-05-25 20:17:04
Hidenori nhide Nakamura
@nhide
StagePlanner http://bit.ly/l9yOGw 結線構造の検査やグラフの書き換えを行っている。プラグインで書き換えの種類を増やせる。 #AsakusaReading
2011-05-25 20:18:56
@nsiena
「StagePlanner: 1.結線構造の検査, 2.グラフ書換え(プラグインで最適化へ介入), 3.フローグラフ標準化, 4.フローグラフ平坦化, 5.ステージ境界抽出, 6.M,Rブロック抽出,7.ステージブロック抽出,8.ステージグラフ構築 #AsakusaReading
2011-05-25 20:20:29
@nsiena
「ちょっとソースを見てみましょうか」「なぜか deepcopy をしているw」「normalizeFlowGraph に FIXME があったw」 #AsakusaReading
2011-05-25 20:23:37
Hidenori nhide Nakamura
@nhide
StageCompiler http://bit.ly/lps85M シャッフル構造、ステージ構造、シャッフル情報の生成、演算子グラフの生成。 #AsakusaReading
2011-05-25 20:32:32
Hidenori nhide Nakamura
@nhide
ほとんど読めませんねー。(^^; すみません。 RT @nemoton: ホワイトボードがw #AsakusaReading (live at http://ustre.am/z663)
2011-05-25 20:33:38
@nsiena
「コンパイル: StageCompiler でステージごとに行なう。1.シャッフル構造分析，2.ステージ構造分析，3.シャッフル情報の生成，4.演算子グラフの生成，5.Mer,Rer の生成。ジョブクライアント生成は入出力パスが未確定のため後回し。 #AsakusaReading
2011-05-25 20:34:05
Hidenori nhide Nakamura
@nhide
JobflowCompiler http://bit.ly/kaw6ia 入出力の分析、入出力情報の出力、ジョブクライアントの出力。 #AsakusaReading
2011-05-25 20:35:10
@nsiena
「コード生成: JobflowCompier: 入出力分析，入出力情報の出力，ジョブクライアント出力。対応している入出力は Hadoop { FileInputFormat, FileOutputFormat }, ShunderGate。 #AsakusaReading
2011-05-25 20:35:54
Hidenori nhide Nakamura
@nhide
BatchCompiler http://bit.ly/mQBHrX ワークフロー情報の出力。(monkey magic と単純なシェルスクリプトに対応) #AsakusaReading
2011-05-25 20:36:56
Hidenori nhide Nakamura
@nhide
WorkflowProcessor http://bit.ly/jCeecD プラグインを司る。 #AsakusaReading
2011-05-25 20:38:25
@nsiena
「BatchCompiler: 出揃った情報を利用して、ワークフロー情報を出力 (プラガブル)。対応形式は Monkey Magic と実験的シェルスクリプト。いずれもプラグインで実現。 #AsakusaReading
2011-05-25 20:38:29
Hidenori nhide Nakamura
@nhide
FlowDescriptionDriver http://bit.ly/kVluD8 FlowDSLの解析。 #AsakusaReading
2011-05-25 20:42:08
Hidenori nhide Nakamura
@nhide
FlowDSLが使用する演算子はOperatorDSLのコンパイラが生成した結果。 #AsakusaReading
2011-05-25 20:45:04