Hadoopソースコードリーディング第17回
Apache Tezの回
■アジェンダ：(リンクは発表資料)
・Tez Internals （@oza_x86 さん）
https://gist.github.com/oza/470e961ff10b60778772
続きを読む
-
- いいね！0
marble
@marblejenka
#hadoopreading TEZ_SHUFFLE_VERTEX_MANAGER_ENABLE_AUTO_PARALLELをtrueにしておくとReucer数を勝手に調整してくれる
2014-09-09 19:55:14
marble
@marblejenka
#hadoopreading これからしゃべるやつの資料です slideshare.net/marblejenka/ha…
2014-09-09 20:08:53
Kenichiro HAMANO
@hamaken
Tezはようするに 「HiveやPig にMapReuceを生成させようとするのは不自然」「HiveやPigにもっといけてる（中間）表現を与えたい」 #hadoopreading
2014-09-09 20:18:04
tagomoris
@tagomoris
DryadのRequirementsにAzure ClusterはともかくWindows YARN Clusterとか書かれてて、これ誰が準備できるんだｗ github.com/MicrosoftResea… #hadoopreading
2014-09-09 20:24:21
tagomoris
@tagomoris
Map-Reduce-Reduceなワークロード、Hiveで集計クエリ書いてると頻出なのでTezに期待したい系のやつ #hadoopreading
2014-09-09 20:27:56
Akihiro Okuno
@choplin
とりあえず set hive.execution.engine=tez; してみて、バグを踏んで止まったり遅かったりしたらmrにすぐ戻せるのがtezのいいところだと思います #hadoopreading
2014-09-09 20:28:13
tagomoris
@tagomoris
Tez用の各タスク・ステージの実行経過の可視化用ツール Swimlanes これは便利そう github.com/marblejenka/te… #hadoopreading
2014-09-09 20:41:01
とある技術者
@toaru_gi
この前IBMがHive on TezよりImpalaが圧倒的に早いよって論文出してたけどどうなの？ 的な質問しにいきたかったけど2日連続で勉強会行くと上司の目が怖いから我慢してる #hadoopreading
2014-09-09 20:42:47