Pwrake: Distributed Workflow Engine based on Rake / RubyKaigi2016

joker1007 (アルフォートおじさん) @joker1007

ここで自前で頑張ってるのがとても凄い。 #rubykaigiA

まさらっき 日曜西か15b @masarakki

研究クラスタの難しい話かと思ったら非常にわかりやすい

羅儀 @ragi256

や，あれは単なるバカパラだったけどこれはDAGで表現されるタスクを処理するために同期とかするからもっと高等だ．

わかり亭めろたん🐒 @renyamizuno_

github.com/masa16/pwrake/… #rubykaigiA

Satoshi Namai @ainame

Fiber、まだ実践的に使ったことがない #rubykaigi

Hiroyuki Sato @hiroysato

あれ、またRubyのワークフローエンジン？？、rukawa, tsugumi and pwrake? #rubykaigiA

そのっつ (Naotoshi Seo) @sonots

Gfarmファイルシステムじゃないとダメなツールなのか。自分たちで使う分には良いだろうけどossとしてはちょっと…

Naohisa Goto @ngotogenome

@sonots それっぽい質問した者ですが、NFSなどの共有ファイルサーバーがあれば使える（ただしGfarm依存の各種高速化手法は無効）という答えだった気がします

そのっつ (Naotoshi Seo) @sonots

@ngotogenome ほほぅ、そうなんですね。ありがとうございます。

わかり亭めろたん🐒 @renyamizuno_

github.com/masa16/pwrake/…ファイルシステムとは #rubykaigiA

🆕 @otakumesi

大学の講義感 #rubykaigi #rubykaigiA

suginoy @suginoy

Gfarm FS 初めて聞いた。 #rubykaigiA

mot @pg_mot

もう講義になってきた

Eiji Iwazawa @iwazer

“Gfarmファイルシステムとは · masa16/pwrake Wiki · GitHub” htn.to/7vE7Y5

joker1007 (アルフォートおじさん) @joker1007

メタデータストアがスケールしないの辛いのでは。 #rubykaigiA

SODA Noriyuki @n_soda

.@joker1007 複数のGfarmファイルシステムを作って（←当然メタデータサーバも別になる）、相互にシンボリックリンクで参照して、ユーザーには一つのファイルシステムに見せるってのが標準的対応だったりします＞メタデータへのアクセスをスケールさせる

elcondor @elcondor

MDSがSPoFなのはHDFSと同じだねえ #rubykaigiA

SODA Noriyuki @n_soda

.@elcondor Gfarm-2.5以降はアクティブースタンバイ構成を標準でサポートしているので（スタンバイ側にSIGUSR1を送るとマスターに昇格）、SPoFはない…はず…（昇格判断はLifeKeeperとかHeatBeatとかZabbixプラグインのような外部ソフト任せ）

masato serizawa @masato_serizawa

ふむふむ... #rubykaigi // トポロジカルソート - Wikipedia: ja.wikipedia.org/wiki/%E3%83%88…

Takayuki Togo @59t9

ローカルに計算資源が確実に配置できるなら、ネットワーク負荷を高めることなくスケールアウトできる、がしかし

mot @pg_mot

これ別にGfarmじゃなくても使えるんかな？

かるぱねるら @karupanerura

きになる / “Gfarmファイルシステム | NPO Tsukuba OSS Technical Support Center” htn.to/o1uLyP #dfs

キネシス太郎 @jiikko

github.com/masa16/pwrake/…

竹馬力｜CreResi CEO, JITI CTO @tchikuba

TresureDataのdigdagで良いんじゃね？と思ったのは私だけ？ #rubykaigi #rubykaigiA

そのっつ (Naotoshi Seo) @sonots

せめて hdfs だったら使えたかもしれん