2015/12/14 Workflow Hacks! #1 #workflowhacks
-
- いいね！3
tagomoris
@tagomoris
.@taroleo さん、日本国内でもいくらなんでもAirbnbは知られてますよという常識がわかっていない……これがUS住人 #workflowhacks
2015-12-14 19:19:47
joker1007 (アルフォートおじさん)
@joker1007
airflowは検討したことあるけど、Python書かないからな……。 #workflowhacks
2015-12-14 19:20:40
joker1007 (アルフォートおじさん)
@joker1007
GUIで書けなくていいけど、DAG的なビジュアライザは欲しい。 #workflowhacks
2015-12-14 19:21:26
Sadayuki Furuhashi
@frsyuki
Python、書く人は多いが書きたい人は大変少ないという結果。GUIだとベスト。 #workflowhacks
2015-12-14 19:21:38
Hiroshi Toyama
@toyama0919
shellscriptというかコマンドレベルの依存関係の定義とそれが可視化出来ればいいかなあ。。それくらいのほうが入りやすいとは思う。いきなりPython前提だと敷居は高い気がするな #workflowhacks
2015-12-14 19:23:13
しんや
@shinyaa31
#workflowhacks 、行こうと思っていたが業務都合で止む無くキャンセルしてしまったので皆様のツイートがなによりの頼りです
2015-12-14 19:24:46
wyukawa
@wyukawa
#workflowhacks ワークフローに必要以上の情報を入れたくないんだよな。ジョブの依存関係、リトライ回数、リトライ間隔、これ以外になんか必要なのかな。
2015-12-14 19:24:51
takus
@takus_ja
Airflow あんまり凝ったことしなければ Python 書いてる感じはしないな。単にシェルスクリプトを依存定義して実行するだけとかの場合。 #workflowhacks
2015-12-14 19:27:35
船井 覚, Satoru Funai
@satoruf
#workflowhacks いわゆるジョブ管理の要件とワークフローの要件とデータフローの話を整理してほしい
2015-12-14 19:28:09
Sadayuki Furuhashi
@frsyuki
"リトライと冪等性のデザインパターン" frsyuki.hatenablog.com/entry/2014/06/… #workflowhacks
2015-12-14 19:29:20
tagomoris
@tagomoris
この評価はPrestoとHadoopジョブの期待される1クエリ走行時間がだいぶ違うということを無視しているのでは…… #workflowhacks
2015-12-14 19:31:21
Sadayuki Furuhashi
@frsyuki
確かに 99.5% は1回で成功しているなら、0.5% だけ特殊な扱いをするのは正しい感じだな。Prestoで走るクエリは低レイテンシで、再実行による性能へのインパクトが少ないケースでは。 #workflowhacks
2015-12-14 19:32:20