MapReduceとコンパイラ、App Engine

御徒町@Serializable @okachimachiorz

@ashigeru 1段と2段の2パターンでやってます～。2段の方が遅いのはなぜｗ。とか苦戦中。

Suguru ARAKAWA @ashigeru

@okachimachiorz 2段でも速くならない…と言うか逆ですかw そっちから何とかする方法を先に考えたほうがよさげですねぇ

marble @marblejenka

しげる氏がなに言ってるかわかんなくなってきた。やっぱ人生勉強っすね。

Kazunori Sato @kazunori_279

@okachimachiorz @ashigeru 今度の座談会、私の持ち時間はぜひ @ashigeru さんを召還したいですが、どうでしょうか？

Suguru ARAKAWA @ashigeru

@marblejenka 論理的に｢隣｣って言うのをちゃんとモデリングして、それらを同じまたは近いマシン上に配置してMapで計算したいなーという感じ。ネットワークトポロジの世界です

marble @marblejenka

データに分散配置はhadoop先生がどうにかしてくれてます！じゃ、だめなんだろうなぁとか。なんでもそうか。

Suguru ARAKAWA @ashigeru

@kazunori_279 私まだ象本も半分たどり着いてないレベル…。家に実験環境が作れなくて苦戦してますw

御徒町@Serializable @okachimachiorz

ぶっちゃけshuffleの挙動がよくわからんので、shuffule～reduce完了までのトレースが苦労してます。荒技的に、その処理のチューニングは労多くして功少なしとして、Mapにどこまで処理をぶちこめるかが勝負って感じですが・・・まだまだ初心者モードですわ。

御徒町@Serializable @okachimachiorz

@ashigeru パフォーマンスを上げるっていうことと、再利用性を上げるってことが例によってトレードオフっぽいな～、ってところまでは体験中です～・・

Suguru ARAKAWA @ashigeru

@marblejenka そです。ネットワーク＞ディスク＞CPUの順に高いので、その順番に何とかしていかないと楽しくなれなさそうですね

Kazunori Sato @kazunori_279

@ashigeru でも、そのローカリティとデータの意味的な近さをいかにかっこよくトーラスなんちゃらで解くのかぜひ聞いてみたいなぁ～スライド5枚くらいでいいですよ

御徒町@Serializable @okachimachiorz

@kazunori_279 @ashigeru のご両人でよろしければ、その方向で調整しましょうか？

御徒町@Serializable @okachimachiorz

俺も聞きたいｗ。RT @kazunori_279: @ashigeru でも、そのローカリティとデータの意味的な近さをいかにかっこよくトーラスなんちゃらで解くのかぜひ聞いてみたいなぁ～スライド5枚くらいでいいですよ

marble @marblejenka

@ashigeru なるほど。道は長そうです。ネットワークにがてなんですよねー。がんばります。

Suguru ARAKAWA @ashigeru

@okachimachiorz 回は様子見な形でお願いします…がんばってスタートラインに立って次回からは全力で参戦したいと思います…(shuffleってのがあるんですね？というレベル)

御徒町@Serializable @okachimachiorz

@ashigeru メモリーとかCPU、I/Oを追っているのですが、なんでそうなるのぅ～～みたいな。多分reduceサイドのマージ係数とか絶対なんか違うｗ。それはわかるが、何がいいのかとｗ。

Kazunori Sato @kazunori_279

そういうローカリティを意識してどうデータを分散化させるかって問題、昔から超並列とかで成果とかあるんじゃないのかな。

marble @marblejenka

@ashigeru お、シャッフルを知らないとは意外！とここぞとばかりに突っ込んでみる

Suguru ARAKAWA @ashigeru

@okachimachiorz でもMapの結果をプリフェッチする感じのReduceならありえるかもですね。単に遅延層が1枚増えた的な

Suguru ARAKAWA @ashigeru

@kazunori_279 ヒント：ヒューリスティクス

御徒町@Serializable @okachimachiorz

@kazunori_279 sharedNothingはMapサイドはきれいに行くけど、reduceサイドが結構ポイントに見えて、sort&shuffleあたりにそういったノウハウを入れているように見えます。

Suguru ARAKAWA @ashigeru

@marblejenka Shuffleって名前的にはハッシュ関数を元に配置とスケジュールをいじれるとか、ですか？

Kazunori Sato @kazunori_279

@ashigeru ヒントの幅が広すぎます＞＜

御徒町@Serializable @okachimachiorz

@ashigeru その関数は自由にいじれる。デフォルトHashですけど、結構変える。スケジュールは設定ごにょごにょやれるようだが・・まだ勉強中。配置は意図的に変えますよｗ。

Suguru ARAKAWA @ashigeru

そーか、ディスパッチする仕組みがないとReduceの結合則によっては何もできんよね