リピさんとオザさんのTezとSparkの会話

SKS rep @repeatedly

@oza_x86 さっきの例だと，全体が一つのステージ？それとも各GROUP BYみたいなのがステージになっていて，その部分が図には書かれていない？

SKS rep @repeatedly

Hiveの場合にはとりあえずTezによって生成された実行モデルのステージ毎に永続化，Spark SQLの場合はどうなんだろ？Sparkの場合って明示的にcacheを呼ばないと永続化しなかったはずだが…クエリ側から制御出来るのかな？

oza @oza_x86

@repeatedly この粒度だと，基本的には edge のたびに書いてるイメージ．実際に書くか書かないかは Hive の Optimizer が決める．

SKS rep @repeatedly

@oza_x86 ほー，なるほど．その書くか書かないか，っていうのはexplainとかで分かるという感じ？

oza @oza_x86

@repeatedly 確認してみるから待って．

tagomoris @tagomoris

@repeatedly periodical checkpointあるらしいですよ

SKS rep @repeatedly

@oza_x86 助かる！

SKS rep @repeatedly

@tagomoris それ，Spark SQLユーザからはどうやって指定するんでしょ…クエリ内に書く？それともなんか別でセットアップしてからクエリを投げる？

Sadayuki Furuhashi @frsyuki

@oza_x86 @repeatedly 逆に永続化しない場合だと、中間結果はストリーミングで次のノードにmemory-to-memoryで順次渡されていく感じです？

tagomoris @tagomoris

@repeatedly Sparkのレイヤが勝手にやるはず。より細かいチューンができるかどうかは知らない。

SKS rep @repeatedly

@tagomoris ほぅ．なんだかんだでSparkも永続化まわり色々やるようになってますなぁ

Takuya UESHIN @ueshin

..ooO ( Periodical Checkpoint ってどの機能のことだろう・・・。

oza @oza_x86

@frsyuki @repeatedly これが意外なことに，今のとこ基本全部永続化するっぽい．In Memory での reduce 側の merge はあるけどね．なのでスケジューラも基本的にデッドロックとかはしないかな．

oza @oza_x86

@repeatedly 今のとこ全部書くので explain では表示されないのを確認した．あと通信方法(broadcast, one-to-one, scatter-gather: これはshuffleのこと)は表示される．

SKS rep @repeatedly

@oza_x86 @frsyuki つまり，さっきのでいうと，Tez側の図のエッジ間はとりあえず今の所は全部永続化されている？けどDAGだしランレングスとかで中間データを効率よくもっているしで，高速化はされているという感じ？

oza @oza_x86

@repeatedly その通り．

SKS rep @repeatedly

Tez，それなら結構安定してジョブを実行できるのでは？

oza @oza_x86

@repeatedly Yep.

Sadayuki Furuhashi @frsyuki

@oza_x86 @oza_x86 その基本全部永続化するのは悪くないような。Faster MapReduce（※ただしオプティマイザのアーキテクチャが違うよ！）みたいな捉え方で問題ないということですよね。

oza @oza_x86

@frsyuki Yes!

Sadayuki Furuhashi @frsyuki

インメモリ処理ならPrestoでいいしな。