高性能並列実行を目指して Rakeベースのワークフローエンジン Pwrake 紹介 #RubyKaigi #RubyKaigiA
-
- いいね！0
竹馬力｜CreResi CEO, JITI CTO
@tchikuba
TresureDataのdigdagで良いんじゃね？と思ったのは私だけ？ #rubykaigi #rubykaigiA
2016-09-09 15:57:16
axhill
@axhill
NArray初めて知った。独自実装なのか、凄いな。 masa16.github.io/narray/feature… #rubykaigia
2016-09-09 15:57:56
elcondor
@elcondor
配置ノードについてよく公開するようになったHDFS、だと理解しておくと解りやすいのかしらGfarm。ファイルメタデータの情報を公開してるからそこに依存して色々できる、みたいな #rubykaigiA
2016-09-09 15:59:30
joker1007 (アルフォートおじさん)
@joker1007
やっぱ、分散ノード実行で真面目に効率を追求すると問題の複雑さが激増するな。 #rubykaigiA
2016-09-09 16:02:15
sue445
@sue445
自前でハードウェア管理するよりクラウドのマネージドサービス使いたいなあって思いになっている #RubyKaigi #RubyKaigiA
2016-09-09 16:03:14
joker1007 (アルフォートおじさん)
@joker1007
しかし、これHadoopじゃなくてRubyを基にやってるのは何でだろう。DAGのDSLとしての使い易さを重視したのかな。 #rubykaigiA
2016-09-09 16:06:02
竹馬力｜CreResi CEO, JITI CTO
@tchikuba
ひまわりのリアルタイム画像のサイトでPwrakeが使われているそうな #rubykaigi #rubykaigiA
2016-09-09 16:06:04
FUKUI Osamu
@iR3
ひまわりの画像をリアルタイムで見られるのね #rubykaigi #rubykaigia / “Himawari-8 real-time Web” htn.to/sFMmxA
2016-09-09 16:07:47
joker1007 (アルフォートおじさん)
@joker1007
ジョブの再投入を途中からやるのに、ファイルの存在を前提にしているのは割と我々の領分だと使い辛さを感じる。 #rubykaigiA
2016-09-09 16:11:03
WAKASUGI 5T111111
@5t111111
Pwrakeって既存のRakeを拡張するものではなくて似た仕様とDSLを持った実装なのかな #rubykaigi #rubykaigiA
2016-09-09 16:14:56
gihyoreport
@gihyoreport
Masahiro TANAKAさん @masa16tanaka による講演「Pwrake: Distributed Workflow Engine based on Rake」。 #rubykaigi #rubykaigia pic.twitter.com/NufyaGgu5i
2016-09-09 16:16:38
拡大
拡大