MapReduceとコンパイラ、App Engine

Suguru ARAKAWA @ashigeru

@marblejenka 機材よりも運用が…orz

Suguru ARAKAWA @ashigeru

@okachimachiorz なんというか、高度に抽象化された弊害とでも言うべきなのか、とりあえず弊害と感じられるまではがんばりたいですw

Kazunori Sato @kazunori_279

@ashigeru たしかHiveって宣言的なMR言語だったような。しかし単にshuffle生成するだけじゃなく、そもそもデータをどう配置するかも考慮が必要で難しそう

Suguru ARAKAWA @ashigeru

@kazunori_279 はい。すべてのストレージのスペック、NICの遅延、配線遅延、ルータの遅延、パケットロス率、故障率、ほかにも全部入力できれば多少戦えますよｗ

Kazunori Sato @kazunori_279

@ashigeru それは実測値でいいんじゃない？＞ノード間のコスト つかHadoopだと物理ノード特定できるけど、Amazonとか #appengine のMRはむずいかな。

Suguru ARAKAWA @ashigeru

@kazunori_279 ですね。そしてパラメータが多くなって計算が膨大になってきたら準最適解を求める方向に。新幹線もそうやって設計されてるようですしw

Kazunori Sato @kazunori_279

@ashigeru MapReduce → VHDL → 新幹線 ←ｲﾏｺｺ... しかしそうなるどMRでは物理ノード間のコスト予測が重要で、 #appengine は不利なのかなぁ。。

Suguru ARAKAWA @ashigeru

@kazunori_279 #appengine は一定の並列性を持ったWebリクエストって言う単位をすばやくさばくように設計されてると思います。あんまり計算用途に使い道が思いついてないです

Yasuo Higa@ISID @yasuo_higa

Ikaiがindexの作成はMapReducesを使ってるといってますね http://bit.ly/b1PalW #appengine

Kazunori Sato @kazunori_279

おぉ! これはたぶんC++の本物MRでしょうねぇ。。Ikaiさん結構リークしてくれるから嬉しいw RT @higayasuo: Ikaiがindexの作成はMapReducesを使ってるといってますね http://bit.ly/b1PalW #appengine

marble @marblejenka

@ashigeru そこがどうにかなると面白いですね。今もtqがあるっちゃあるけど、計算って感じじゃないですもんね。

Suguru ARAKAWA @ashigeru

@kazunori_279 ただ、細かいチューニングを人間がせざるを得ない設計ってのは、最適化側としては非常にやりづらい環境なので、逆に何も手を出せないような仕組みを提案してくるんじゃないのかなーとも思ったり #appengine

Kazunori Sato @kazunori_279

@ashigeru ですね、もしTQでMRっぽい仕組み作っても、Hadoopにはかなわないかもしれませんね

Suguru ARAKAWA @ashigeru

@marblejenka もしかするとあの環境って、一定の予測可能性というか計測能力を提供している関係でCPUががら空きなんじゃないかとも思ったり…。バックエンドでどうやってるのか非常に気になります

Kazunori Sato @kazunori_279

@ashigeru 宣言的に書くと最適にMR処理してくれる。。 #appengine チームにはそこまでリソースないと思うw

Suguru ARAKAWA @ashigeru

@kazunori_279 あまりfine-grained parallel computingな方向に進んでないので、バッチ処理としては十分かも、とは思ったりします＞MR/TQ

Suguru ARAKAWA @ashigeru

@kazunori_279 や、 #appengine チームというか本家のほうにそういう仕組みがあるんじゃないですかね。それともMRの数がそこまで多くなければ一つ一つが職人芸って可能性はありますがw

Kazunori Sato @kazunori_279

@ashigeru 本家が新サービスでローンチってのはあり得ますね。ただTechTalkでMapsとかIMEチームのMR事例聞くと、Sawallとか特別な仕組み使わずC++でがりがり書くってのが定番らしいです

Shinpei Ohtani @shot6

@ashigeru @kazunori_279 #appengineのレイヤではなく、GFSとか下位レイヤで仕組みはあるともいます。Sawzallもあるのはそのためでは。

Kazunori Sato @kazunori_279

@shot6 ですね。やっぱり下位レイヤの「本物」MRを触ってみたいですねぇ

Suguru ARAKAWA @ashigeru

@shot6 なるほど。そこから1枚かぶせて#appengineでMap/Reduce関数作るくらいだったら現実的かもしれません

Suguru ARAKAWA @ashigeru

@kazunori_279 本気でチューニングしようとすればそうなるでしょうね。ちょっとした使い捨てのMRとかないもんですかねぇｗ

Shinpei Ohtani @shot6

@ashigeru @kazunori_279 GFS/Google MapReduceがHadoopの大元なのだから#appengineがAPI的に解放されれば出来ない話ではないのでは。しかしバッチプロセッシングだからなあ、それで嬉しいかどうか、ですね。

Suguru ARAKAWA @ashigeru

@shot6 ユーザに解放するとなるとサンドボックスを敷かなきゃいけないのでちょっと難しいですね。ちなみに #appengine はデータストアに集計系の仕組みがないのでバッチ処理は非常に欲しいですw

Kazunori Sato @kazunori_279

@shot6 それがですね、まあリリースされるかも分からないので不明ではありますが、どうも雲行き的にはTask Queueベースで実装された「MR的な何か」になりそうな気がします。。