Rejected HCJ 2016

K. Ishizaki @kiszk

Heapサイズを引き上げても、Full GCのタイミングが起きるのが遅くなるだけでは。tenureにいくタイミングも変えたか、nurseryが増えたことで運良くobjectのlife timeに入ってtenureに行かなくなった？ #rhcj2016

oza @oza_x86

@k_oi 1時間に100000クエリ捌く環境(700台)とかだと問題になるらしいです．

tagomoris @tagomoris

JOIN時のマスタテーブル側に負荷が集中するだろうから、そこだけreplication factorをやたら増やすとかすればよかったような気がするけど、そうはしなかったのかな? #rhcj2016

tagomoris @tagomoris

アーッAutoConvertJoin!!!!!!!!!!!!!!! #rhcj2016

oza @oza_x86

@sasarkyz さんと握手しそびれた… @k_oi が風邪で来なかったのが原因だなっ(ぉい

oza @oza_x86

@tagomoris なんかイヤな思い出とかあるのですか？ #rhcj2016

tagomoris @tagomoris

@oza_x86 すごくいっぱいあります!

oza @oza_x86

#rhcj2016 twitter.com/tagomoris/stat…

tagomoris @tagomoris

hive.auto.convert.join これかー！ d.hatena.ne.jp/wyukawa/201203…

2014-11-28 16:41:52

tagomoris @tagomoris

@oza_x86 そんなものはまだ始まりにすぎなかったのだ……

oza @oza_x86

モリスさんの闘いの跡が…w

oza @oza_x86

@tagomoris ワロタ

oza @oza_x86

きっと Asanuma さんだ！ #rhcj2016

marble @marblejenka

@tagomoris でもPaaS使ってないから、世の中的にそういうの使ってる人たちと規模は同じである気もする。PaaS使わないサービス規模と企業体力は特殊かもしれませんね。

SKS/ファントムの申し子 @repeatedly

意外性のない転職で話題だったモリスさんだ #rhcj2016

oza @oza_x86

誰もが驚く転職を果たした @tagomoris さんだ #rhcj2016

SKS/ファントムの申し子 @repeatedly

少し古いデータを元のグラフになってますけど，今だともうPrestoの一日のクエリ数はHiveと同等になってますね #rhcj2016

K. Ishizaki @kiszk

Hive vectorization聞きたかった　 #rhcj2016

oza @oza_x86

@kiszk 多分これが一番詳しい資料かと slideshare.net/Hadoop_Summit/… cwiki.apache.org/confluence/dis…

K. Ishizaki @kiszk

@oza_x86 ありがとうございます。　これのSection 6のような、いかにコードを生成するか、あたりが今気になっています。　Tungstenも読みはじめたところです。 web.cse.ohio-state.edu/hpcs/WWW/HTML/…

dolphinswimmer @dolphinswimmera

クラウド上でのHadoop基盤とCloudera Director 2.0 #rhcj2016 ift.tt/1O7ICPe

K. Ishizaki @kiszk

HiveMallが.... #rhcj2016

oza @oza_x86

@kiszk VectorizedExpressions を実装したソースコードをテンプレート経由生成して，コンパイルしてるみたいです．→のディレクトリにテンプレート一覧があります github.com/apache/hive/tr…

oza @oza_x86

Configuration クラスだ〜 #rhcj2016

oza @oza_x86

リフレクションで書き換えてるのかっ #rhcj2016

Eiji @eratostennis

リフレクション使っていじっちゃうとは…tryGetOriginalJobConfやばい… #rhcj2016