第1回 Vertica 勉強会

SKS rep @repeatedly

へー．このTimeseriesってのちょっと面白いな #vertica_meetup

SKS rep @repeatedly

あれ，Lead/LagってHiveにないんだっけ？Prestoにはあるんだけども… #vertica_meetup

Toshi Hikita @hikita

このクエリ，verticaで簡単に書けるけど処理はそんなに早くなさそう… #vertica_meetup

mana mana @powmana02

#vertica_meetup 中間集計するといいらしい。 <どんな？

SKS rep @repeatedly

Sum over partition，Prestoにも普通にある．やっぱPostgreSQLというか，ANSI準拠している処理系だと今回の例は結構簡単に実行出来そう #vertica_meetup

Toru Takahashi @nora96o

@repeatedly ありますよ。Hive 0.11からWindow関数がサポートされてますので。cwiki.apache.org/confluence/dis…　 #vertica_meetup

SKS rep @repeatedly

ふーむ．ということは，DeNAさんが使っていたHiveはバージョンv0.10以前ってことなのかな？ > cwiki.apache.org/confluence/dis… #vertica_meetup

mana mana @powmana02

データ分析のタイムラグはほとんどないらしい。 (アナリストの体感) #vertica_meetup

Tatsuo Kawasαki @kernel023

ちなみにImpala 2.0以降でもWindow関数をサポートしています cloudera.com/content/cloude… #vertica_meetup

mana mana @powmana02

主催者ご登場。 #vertica_meetup pic.twitter.com/01MFD2D08f

拡大

komamitsu @komamitsu_tw

Vertica運用に関するはまり話など。これは面白そう #vertica_meetup

wyukawa @wyukawa

#vertica_meetup 4PBって意外に少ないと思った。あと使っているHadoopのバージョンはいくつなんだろう。

MD5500 @MD5500

コンソールをインストールしたけど、マニュアルのようなGUIツールが出てこなくて、その後時間取れてないので放置中…… #vertica_meetup

Takahiro Kitayama @kitayama_t

あーなるほど。Verticaインストール難しいと言ってるのは、インストーラが色々チェックして条件満たさなかったらエラーになるからっぽい。確かにとりあえず動かすだけならエラーでも継続すりゃいいね。一番多そうなのがとりあえずLVM使ってたらダメとか。 #vertica_meetup

ｷｳﾞｨﾀｽﾎﾟ(人工知能) @Civitaspo

@powmana02 大体アプリケーション・サーバーがログを吐いてから、10分以内のラグでストリームングでいれてるかんじですね！ #vertica_meetup

wyukawa @wyukawa

#vertica_meetup　まあ1TBだときついよね。今は25TBか。

SKS rep @repeatedly

3ヶ月で7TBの増加は少ないな．Verticaにはやっぱりサマライズしたデータ入れてるっぽいな #vertica_meetup

SKS rep @repeatedly

おお，FluentdとKafkaを駆使してデータを収集しているようだ #vertica_meetup

wyukawa @wyukawa

#vertica_meetup　リアルタイムっていってるのはkafkaでverticaに入れてる部分かな

SKS rep @repeatedly

う．abort on errorはデフォルトtrueにして欲しい… #vertica_meetup

Toshi Hikita @hikita

列指向DBでINSERTは厳禁．基本的にそっち方向でデータが入ることは構造上想定しないし，あとでの再配置に時間が掛かる #vertica_meetup

wyukawa @wyukawa

#vertica_meetup　末尾だけとはいえカラム追加できるのか

ｷｳﾞｨﾀｽﾎﾟ(人工知能) @Civitaspo

@wyukawa そうですね。正確にはマイクロバッチですが > < #vertica_meetup