Repro Tech Meetup #9 実践・並列分散処理基盤

hiroxy | Hayashi Hirotake @hiroxyy_

Arabikiさんの発表はじまったー！ #reprotech pic.twitter.com/eBK5mnumfm

拡大

Yuki Nagae @yukinagae

8千万セッション/日 (˘ω˘)ｽﾔｧ #reprotech

P 山 @p_hyama

#reprotech 「Repro における Presto の安定化・パフォーマンス改善の歩み」 by Takeshi Arabiki pic.twitter.com/FxwW3xGowV

拡大

kaito2 @kaito_two

#next19extended やら #NoOpsJP やら #reprotech やらでTLがにぎわってる

Yuki Nagae @yukinagae

Prestoってこれか(｀・ω・´) tug.red/entry/2014/07/… #reprotech

はくどー @HKDnet

#reprotech 狙った時間に出したいから処理時間を短くしたいし、最新のデータを使いたいとゆーのがユーザーの願いで、実現するの大変とゆー話

threetreeslight @threetreeslight

「adhockな分析ではなく、プッシュ配信などのユーザーのセグメントという過酷な環境で #presto を利用」 #reprotech

sunaot @sunaot

プレイドさんのときも思ったけど、優れたイベントスペースがある会社はそれだけで印象よくなるなー。快適 #reprotech

threetreeslight @threetreeslight

「prestoは1 workerおちるだけでQuery全体が失敗する。」 本当にこれに悩まされる問題。 #reprotech

おおた @ota42y

presto、ワーカーが一個でも死ぬとjob全体が失敗するのか… #reprotech

えっちゃん @eccyan

#reprotech Repro の守護神 @a_bicky さんの登壇。#presto の活用やチューニングについてのお話し。 pic.twitter.com/L0YlE1JnWa

拡大

拡大

拡大

threetreeslight @threetreeslight

「OOM Killer」ｗ #reprotech

しんそつおわたまん @higitune

やっぱクラウドなんだな #reprotech

threetreeslight @threetreeslight

HiveとPrestoを同居させることによるOOM、これは辛い。 #reprotech

threetreeslight @threetreeslight

おっEMR、今はマルチマスター構成できるんだ！ #reprotech

wyukawa @wyukawa

#reprotech presto workerとnode manager を分けたってことかな。

wyukawa @wyukawa

#reprotech bucket使ったことないな

threetreeslight @threetreeslight

「bucketed tableはprestoだと気を使う。同じtableの同じbucket番号のファイルは全部同じworkerが処理してしまう。bucket execution enabled=falseを設定するとその動きをoffにできる」 #reprotech

はくどー @HKDnet

#reprotech bucketed table の処理ワーカーがかたよるの、ジョインで使うときとかに局所性がきくから、とかなんだろか

ゆで卵(yuki) @takayukib

テーブル、bucket、ファイルが同じだと同じworkerでしか処理しないのがデフォルトなの完全に罠や... #reprotech

カントク @uokada

prestoでよくあるアンドキュメントな設定値のお話 #reprotech

しんそつおわたまん @higitune

レスポンスどれくらいリアルタイムで返す必要あるんだろ #reprotech

sunaot @sunaot

Cassandra だ #reprotech

Yuki Nagae @yukinagae

「ドキュメントには書いてないんですが、bucket_execution_enabledを falseにすると並列処理されます（ｷﾘ」 github.com/prestodb/prest… #reprotech

ksss @_ksss_

wifi情報はバーカウンターに掲示しています #reprotech