ゲノマーと情報科学について(続き)

Masahiro Kasahara @mkasahara

@dyokoyama gxp は相当使い込んだしソースも読みましたし自分でパッチ当てて使ってたぐらいなので、タスク並列処理系の中では最も欲しいモノに近いのですが、ガチで使うには（論文にはおそらくならない）実装を一杯足さないとつらい感じです。

Masahiro Kasahara @mkasahara

@dyokoyama gxp が辛いのは、接続がツリーなので、どのノードが stop-failure してもワークフローが止まる点です。３年ぐらい前に確認した時点では、ツリーのトポロジを変えるとほとんど全部書き直しって感じだったと思います。

横山大作 @dyokoyama

@mkasahara makeであればワークフローが止まる、ということはないように思いますが。failしたタスクの再実行は自分でやるしかない、というのはしょぼいですが。

横山大作 @dyokoyama

@mkasahara もちろん、ストリーム処理系のようなことをやろうとすると荷が重いですね。基本的に途中状態は共有ディスクの上で保持しておく、というスタイルを想定してますし。

Masahiro Kasahara @mkasahara

@dyokoyama 済みません。言葉足らずでした。再実行は自前、ってのが辛いということです。例えば、スパコンのqueueが８時間待ちだとしますよね。tree の中間ノードが死んだら次のリスタートは８時間後になります。不便じゃないですか？

Masahiro Kasahara @mkasahara

@dyokoyama もっと言うと、ログインノードで gxp 走らせると kill されちゃうことが多いので gxp 自体を qsub するわけですが、８時間待ちだと gxp が動くまで８時間、gxp から explore するのに＋８時間、とかです。

横山大作 @dyokoyama

@mkasahara おっしゃる通りですね。gxpはスケジューラが外に出せるので(makeはその一例)、再実行するようなスケジューラを標準でつけてあげてもいいかな。自動増減と合わせて考えてみます。

横山大作 @dyokoyama

@mkasahara スパコンのバッチの考え方とのすり合わせはもう少しどうにかしたいところですね。qsubでは1ノードjobをたくさんぶち込んで、スケジュールされたノードからすぐさまtreeにつなぐ、という戦略ではどうでしょう？とはいえ計算ノードssh許してなかったりするからなー

Masahiro Kasahara @mkasahara

@dyokoyama 基本戦略はもちろんそれでＯＫなんですが、実際には子ノード(?)は空きノードができるたびに五月雨式に増えていくので、gxp explore を push 式と表現するなら pull 式で gxp join したいんですよね。

Masahiro Kasahara @mkasahara

@dyokoyama 子供がどこに配送されているかは qstat でポーリングするしかないんですが、大規模スパコンの qstat とか普通に数分掛かるので、場所を特定しやすいマスターにつなぎに行きたいです。本当は。

Masahiro Kasahara @mkasahara

@dyokoyama あと、仰るように ssh して良いスパコンは限られている、というのもあります。（幸いゲノム系のスパコンは、自分でちゃんと資源確保しているノード間の ssh なら実害ないので黙認されてる感じです。）

横山大作 @dyokoyama

@mkasahara はい、やりたいことはわかります。gxpで対応することと、「クラウドでは当たり前にできることがスパコンでできないなら、クラウド行っちゃうよー」と言ってスパコンに対応してもらうことと、両方ありそうですね。

Masahiro Kasahara @mkasahara

@dyokoyama あと、やっぱり減らすのが不自由なのがとても辛いところです。[EP→集計]ってパターンがゲノム解析だとものすっごく多いんですけど、EPは1000並列でも集計はせいぜい8とか16でいい。集計が gxp の leaf に来ると上流は仕事が無くても待機。

Masahiro Kasahara @mkasahara

お、ファイルシステムの（論理的な）修理終わったかな？

横山大作 @dyokoyama

@mkasahara はい、ノード減少ぜひ使いやすくしますね。昨今の省電力の要請のために重要度が上がってます。

Masahiro Kasahara @mkasahara

@dyokoyama できたら是非教えて下さい！でないと手元で作っている GXP みたいなソフトが完成してしまう・・・

Masahiro Kasahara @mkasahara

@dyokoyama そういえばタスク並列の話を進めるなら、@mishimahryk も問題をよく知っていると思うので是非一緒に議論したい。ゲノム解析に Pwrake 拾ってくるのは結構センス良いと思っていました。

Masahiro Kasahara @mkasahara

@dyokoyama 是非、お待ちしています！

横山大作 @dyokoyama

@mkasahara @mishimahryk Pwrakeもいいですね。問題意識の方向性は共有出来てる個所もあるな、と心強く感じました。

Kazuharu Arakawa @gaou_ak

RAM 6TBのマシン使ってるけど、アドホックに数百GB~数TBのデータをいろいろいじらないといけない状況では、アルゴリズムどうこうするよりもとりあえずRAM diskで全部やっちゃった方が（実装時間込みで）圧倒的に早いので、非常にいい買い物だったと思うよ。

Kazuharu Arakawa @gaou_ak

ちなみに最近だとRAM 2~4TBで128core程度のちゃんとサポート付いてるSMPマシンが実勢価格1000万円未満で買えるので、下手なワークステーション10台とか買うより圧倒的にお得ですよ。

Masahiro Kasahara @mkasahara

ゲノム解析の人達の普通の感覚だと思います。＞RAM 2~4TB ぐらいなら普通にお買い得

Masahiro Kasahara @mkasahara

バイオインフォマティクスって言うと広すぎるからせめてゲノムインフォマティクスって言って欲しい・・・。