編集可能

GedowFatherさんがImpalaを本番投入した件

まとめましょうそうしましょう。
6
外道父/げどちー @GedowFather

Impalaを本番環境にぶっ込んでやった。ありがちな集計クエリで10倍、ただのカウントで30倍の処理時間差を計測

2012-11-16 11:25:12
外道父/げどちー @GedowFather

Impala検証利用データ:17MB, 45,000行 で GROUP & ORDER BY が Hive 63s : Impala 7s。COUNTで Hive 34s : Impala 1s

2012-11-16 11:28:33
Takuya UESHIN @ueshin

Impala本番投入とかすごい。> RT

2012-11-16 11:29:58
Tatsuo Kawasαki @kernel023

@GedowFather 差し支えなければ教えてほしいんですが、何ノードぐらいでやっていらっしゃるんしょうか?

2012-11-16 11:30:11
外道父/げどちー @GedowFather

HiveとImpalaの比較では、HiveはMap数とかでかなり変わるから、ベストチューニングなHiveかと言われると自信はないが、Impalaが速いことは間違いない

2012-11-16 11:30:13
外道父/げどちー @GedowFather

ちょっとずつ検証データの容量と行数を大きくしていってイエローゾーンを見極める

2012-11-16 11:31:22
しょうゆ/Yuki Y @showyou

Impala本番投入もすごいけどCDH4の本番投入も(ry

2012-11-16 11:31:22
Sadayuki Furuhashi @frsyuki

@GedowFather データ量が10000倍くらいだと、どうなります…?

2012-11-16 11:32:07
tagomoris @tagomoris

@GedowFather ぜ、ぜひその調子でGBクラスのデータで……

2012-11-16 11:32:23
matsuou1 @matsuou1

とりあえず数GBぐらいのデータは準備している。少々お待ちを。

2012-11-16 11:33:00
しょうゆ/Yuki Y @showyou

50GBくらいJOINしてみてもらいたい

2012-11-16 11:33:10
tagomoris @tagomoris

業界のひとびとがすごい勢いで GedowFather さんのtweetに注目している

2012-11-16 11:33:20
Akihiro Okuno @choplin

本番にImpala投入か。Impala専用クラスタを組んだのかな。

2012-11-16 11:33:46
Tatsuo Kawasαki @kernel023

まだベータ版ですからw。。。 RT @GedowFather: ちょっとずつ検証データの容量と行数を大きくしていってイエローゾーンを見極める

2012-11-16 11:34:12
外道父/げどちー @GedowFather

他人の本番環境だと思ってハハハこやつらめ

2012-11-16 11:35:27
matsuou1 @matsuou1

@choplin 専用環境ではないです。とりあえず、データがある環境で色々試せる状況を作ったと言った感じです。

2012-11-16 11:35:35
tagomoris @tagomoris

他人の本番環境は俺の試験環境、俺の本番環境は俺の本番環境

2012-11-16 11:36:04
しょうゆ/Yuki Y @showyou

RT @tagomoris: 他人の本番環境は俺の試験環境、俺の本番環境は俺の本番環境

2012-11-16 11:36:33
tagomoris @tagomoris

あのちょっと某C社のかた、RTが速攻すぎますよ

2012-11-16 11:36:45
Akihiro Okuno @choplin

@matsuou1 リソース管理ができないので他にMR Jobが動いている環境だとしんどくないですか?

2012-11-16 11:37:43
外道父/げどちー @GedowFather

他人の本番環境でヒャッハーするモヒカンどもが巣食う業界それがBigData

2012-11-16 11:38:02
matsuou1 @matsuou1

@choplin その問題は認識していて、現状のクラスタで空けてるリソース内で試そうとしています。だからデータ量も小さいところから少しづつ増やしていくと言った感じです。

2012-11-16 11:39:57
Yutaka Matsubara @mopemope

Impalaへの憧れハンパない

2012-11-16 11:40:45
残りを読む(104)

コメント