【新機能】作り忘れたまとめはありませんか?31日前まで期間指定してまとめが作れる高度な検索ができました。有料APIだからツイートの漏れはありません!
6
ログインして広告を非表示にする
外道父/げどちー @GedowFather 2012-11-16 11:25:12
Impalaを本番環境にぶっ込んでやった。ありがちな集計クエリで10倍、ただのカウントで30倍の処理時間差を計測
外道父/げどちー @GedowFather 2012-11-16 11:28:33
Impala検証利用データ:17MB, 45,000行 で GROUP & ORDER BY が Hive 63s : Impala 7s。COUNTで Hive 34s : Impala 1s
Takuya UESHIN @ueshin 2012-11-16 11:29:58
Impala本番投入とかすごい。> RT
Tatsuo Kawasαki @kernel023 2012-11-16 11:30:11
@GedowFather 差し支えなければ教えてほしいんですが、何ノードぐらいでやっていらっしゃるんしょうか?
外道父/げどちー @GedowFather 2012-11-16 11:30:13
HiveとImpalaの比較では、HiveはMap数とかでかなり変わるから、ベストチューニングなHiveかと言われると自信はないが、Impalaが速いことは間違いない
外道父/げどちー @GedowFather 2012-11-16 11:31:22
ちょっとずつ検証データの容量と行数を大きくしていってイエローゾーンを見極める
しょゆ @showyou 2012-11-16 11:31:22
Impala本番投入もすごいけどCDH4の本番投入も(ry
Sadayuki Furuhashi @frsyuki 2012-11-16 11:32:07
@GedowFather データ量が10000倍くらいだと、どうなります…?
tagomoris @tagomoris 2012-11-16 11:32:23
@GedowFather ぜ、ぜひその調子でGBクラスのデータで……
matsuou1 @matsuou1 2012-11-16 11:33:00
とりあえず数GBぐらいのデータは準備している。少々お待ちを。
しょゆ @showyou 2012-11-16 11:33:10
50GBくらいJOINしてみてもらいたい
tagomoris @tagomoris 2012-11-16 11:33:20
業界のひとびとがすごい勢いで GedowFather さんのtweetに注目している
Akihiro Okuno @choplin 2012-11-16 11:33:46
本番にImpala投入か。Impala専用クラスタを組んだのかな。
Tatsuo Kawasαki @kernel023 2012-11-16 11:34:12
まだベータ版ですからw。。。 RT @GedowFather: ちょっとずつ検証データの容量と行数を大きくしていってイエローゾーンを見極める
外道父/げどちー @GedowFather 2012-11-16 11:35:27
他人の本番環境だと思ってハハハこやつらめ
matsuou1 @matsuou1 2012-11-16 11:35:35
@choplin 専用環境ではないです。とりあえず、データがある環境で色々試せる状況を作ったと言った感じです。
tagomoris @tagomoris 2012-11-16 11:36:04
他人の本番環境は俺の試験環境、俺の本番環境は俺の本番環境
しょゆ @showyou 2012-11-16 11:36:33
RT @tagomoris: 他人の本番環境は俺の試験環境、俺の本番環境は俺の本番環境
tagomoris @tagomoris 2012-11-16 11:36:45
あのちょっと某C社のかた、RTが速攻すぎますよ
Akihiro Okuno @choplin 2012-11-16 11:37:43
@matsuou1 リソース管理ができないので他にMR Jobが動いている環境だとしんどくないですか?
外道父/げどちー @GedowFather 2012-11-16 11:38:02
他人の本番環境でヒャッハーするモヒカンどもが巣食う業界それがBigData
matsuou1 @matsuou1 2012-11-16 11:39:57
@choplin その問題は認識していて、現状のクラスタで空けてるリソース内で試そうとしています。だからデータ量も小さいところから少しづつ増やしていくと言った感じです。
Yutaka Matsubara @mopemope 2012-11-16 11:40:45
Impalaへの憧れハンパない
残りを読む(104)
ログインして広告を非表示にする
ログインして広告を非表示にする