MapReduceとコンパイラ、App Engine

Suguru ARAKAWA @ashigeru

Hadoopの計算モデルを使ったシステムの世界観がまだ自分の中でぼやけている印象だ

Suguru ARAKAWA @ashigeru

I/Oというか通信ネックになりそうなのは間違いなくて、既存の命令型の延長で組んだプログラムを何とか最適化して…と言う方向はたぶん厳しい

Suguru ARAKAWA @ashigeru

共起系の解析をどうやるかがいまいち思いついてない感じ

Suguru ARAKAWA @ashigeru

時間でスライスしたのをカスケードさせて何重も計算…と言うかFFTみたいな計算モデルになるのかね

Suguru ARAKAWA @ashigeru

何とはなしにいったけど、タイムライン的な時間軸に対してフーリエ変換とかウェーブレット変換的なものを考えると面白いかもしれんね

marble @marblejenka

@ashigeru 計算モデルというか、数値計算手法に制約がついちゃうイメージですかね？個人的には、mapをなにかの計算に見立てるとすると、粒度の問題は大きくなりそうな印象です。でも、なにで計算するかって重要ですか？

Suguru ARAKAWA @ashigeru

@marblejenka もっとも単純な話では、ある数列を別の数列に変換する時に、値を別個に変換できるのかできないのかってところですかね。常にanの解析にan-1が必要だとちょっとどうやるのかが思いついてないというのか。

marble @marblejenka

@ashigeru ああ、そういうことですか。mapの粒度をまたがる計算は制限されそうですね。金融商品だと、早期償還条件付き商品とかはキャッシュフローの粒度で評価できないので、hadoop使うとすると悩みどころになるなーという感じです。

Suguru ARAKAWA @ashigeru

@marblejenka software pipeliningとかそっち系の最適化を使うと行けるのかなーとも思いつつ、あんまり特徴に合ってないからいろいろと事例研究に移ろうかなとも思い始めてます

Suguru ARAKAWA @ashigeru

てか、ベクトルマシンのプロセッサに関する最適化コンパイラを習っていたのが意外にもこんなところで役に立つ(?)とはよく分からないもんだ

Kazunori Sato @kazunori_279

ソフトウェアパイプラインとかエサがまかれてるが、釣られないぞ

marble @marblejenka

@ashigeru おー、事例があるのか？というところはありますが。。hadoopのサンプルで円周率をモンテカルロで計算してるのはありましたが、事前にパスの分だけlineを生成してて、こりゃだめだ、というのはありました。きっともっと賢いやりかたもできるのでしょうけど。。。

marble @marblejenka

@kazunori_279 それは釣られてると言わざるを得ない件

Suguru ARAKAWA @ashigeru

@marblejenka モンテカルロは集約に結合法則がある計算を使うので向いてると思います。問題はそうじゃない計算

Kazunori Sato @kazunori_279

@marblejenka ループを展開してMRにあてはめられんのかいなとか一瞬考えちゃった。。つ、釣られてなんかいないからね!

marble @marblejenka

@ashigeru いや、僕がためした範囲では、モンテカルロの1パスをmapにするのは用途が思いつかない程度には遅かったです。なので、計算を分解するよりも1mapに相当するそれなりに大きい計算をやるのが妥当なのかなと思ってます。これも用途によっちゃうんでしょうけど。

Suguru ARAKAWA @ashigeru

@marblejenka なる。象本的には1Mapで1分くらいがいいんじゃねとのこと。もちろん状況次第と思いますが

marble @marblejenka

@kazunori_279 そんな感じなんじゃないですかね。むしろ、@ashigeru氏が考えてそうな複雑なことって出来るのかなー、という感じです。map side joinとかreduce side joinとか？

marble @marblejenka

@ashigeru それも大きめですねー。サンプルのword countとか、軽い計算では生きてこないということか。。

Suguru ARAKAWA @ashigeru

@marblejenka まぁ、それはutilizationを上げるための指標なので文脈によって変わるものではあると思います。とりあえずCPUネックにするのは非常に難しいw

御徒町@Serializable @okachimachiorz

Mapはこちらは1.5min～3minでやってまっせ～～

Suguru ARAKAWA @ashigeru

おそらく、力技で複雑な計算するんじゃなくて、多次元トーラスに近い形でオリジナルのデータを分散レプリケーションさせて、ローカリティを多段階にする必要はあると思う

御徒町@Serializable @okachimachiorz

通常の業務処理をバラしていろんなパターンでやってますが、reduceがボトルネックになるので～。というかMapが簡単にスケールするので、できるだけMapにガシガシ処理させて、CPUネックになるようにやってます～。

Suguru ARAKAWA @ashigeru

@okachimachiorz reduceは1段な感じでやってらっしゃるんですかね

marble @marblejenka

@ashigeru なるほど。でも単にmapを1モンテカルロにするとかだったら、そんぐらいにはなりそうですね。そんなに時間がかかると逆にだめっぽいというのはありますが。。