Asakusa Framework(Ashigelコンパイラ)浮上
@Guutara 基本ステージングになっていて、DAG構成の部品を順番にコンパイルして作っていって、最後にどかんと最適化する感じですね。
2010-11-23 09:12:22まーミドル・レイヤーはテストが難しいわけで。作っていた経験でいうと多少の上級SEでも玉砕するケースを多々見ているわけで。なんというか、この辺はチーム力な感じ。
2010-11-23 09:17:17@okachimachiorz テスト可能性を重視しすぎて、いくらか最適化に制限を設けてたり…今度ちゃんとご説明しますが。
2010-11-23 09:19:10@ashigeru テスト可能性はいくら重視しても、しすぎはないので無問題ですw。・・・・DSLをつかったプロト設計とか始めますね。「向こうの方」は着々と出そろうと思うので、そっちのプルーフは問題ないと思いますが、別のUC辺りは準備しておいた方がいいと思うので。
2010-11-23 09:24:02@ashigeru しかし、これ見事にコンパイルするね・・・こういうステージング・コンパイラは初めてみた。通常は技術的には内部で隠蔽して表にでないものなんでしょうね。MRがアセンブリ言語みたいな感じなんで、こんな風になるのは、まーある意味必然かなと。
2010-11-23 09:28:15@okachimachiorz もっと内部に隠蔽していいなら、最初のジョブだけコンパイルして、次のジョブは最初のジョブ結果を元に適切な組み換えを行って…というのも可能ですが、ブレークポイントすら張れなくなるというのがw
2010-11-23 09:31:09@ashigeru ですな~。ある程度の制御ポイントとか入れていかんと複雑なフローは追いかけることができないですからね・・・その分人手でカバーする部分はどうしても出てしまいますね。
2010-11-23 09:40:14セマンティクスの境界を明確にしつつ解釈に幅を持たせたつもりなので、ほぼ基盤ミドルに引きずられないようには仕上がってるはず。それこそMAとしても動く
2010-11-23 09:42:19@okachimachiorz 難しいですよね…Javaくらいまで枯れて安定したら手の打ちようはある、っていうくらいのステータスにしています
2010-11-23 09:44:15@ashigeru まーベースのHadoop自体がまだまだこれからの部分もあるし。ある程度は妥協しないと先に進まないでしょう。
2010-11-23 09:48:16時間あったら試しにやってみっか・・あればだけど。RT @ashigeru: セマンティクスの境界を明確にしつつ解釈に幅を持たせたつもりなので、ほぼ基盤ミドルに引きずられないようには仕上がってるはず。それこそMAとしても動く
2010-11-23 10:16:58@okachimachiorz 実験レベルならともかく、Hadoopと同じ位に持っていくなら年単位のオーダーになりそうですね…。ポイント絞っていれてみるなら面白いかもしれません。BI的な要件とか。
2010-11-23 10:45:33@ashigeru 当面は実験レベルじゃないかな。実務レベル的にはコミュニティークラウドがもっと増えた段階だと思うので、来年以降じゃないかね。
2010-11-23 10:50:24@ashigeru 例の原価計算は在庫の世代管理がはいった場合にCoGrouping方式ではうまくいかない疑惑。
2010-11-23 10:51:08加工先商品については標準で計算しておいて、MR引当時点に「その場で即刻」Varianceを計算するという裏技。・・・・・・・・・・・・・・・・・・・・・トリッキーだけどいけるかな。
2010-11-23 10:59:59@okachimachiorz はい。時系列を殺してしまうので個別原価計算向きではないです。なんか一手間入れればいけそうな気がしているのですが、うまく問題変換できてないんですよ
2010-11-23 14:00:56@ashigeru 単純なモデルだとCogroupメソッドは有効だけど、複雑な場合は限界あるね。
2010-11-23 14:39:23@okachimachiorz 全部の製品を単品管理すればいけるとは思いますが、今度は枝番の管理でいろいろ死ねそうな
2010-11-23 14:42:18@ashigeru 枝番は振ってられないので原価計算用に内部でサロゲート・キーを振ってしまうのが王道。
2010-11-23 14:45:39