Repro Tech Meetup #9 実践・並列分散処理基盤
-
threetreeslight
- 2218
- 1
- 0
- 57
-
- いいね！57
cory (K.Oshita)
@adnm
最適な方を出力できるように、クエリ生成用の中間表現を持ってて、rubyスクリプトで実際にクエリ吐いてるのか > HiveとPrestoのクエリ生成 #reprotech
2019-06-04 20:36:50
wyukawa
@wyukawa
#reprotech クエリジェネレーター欲しいな。日付関数とかpresto , hiveで違うから書き換えが面倒って話があるんだよな…
2019-06-04 20:37:32
threetreeslight
@threetreeslight
yamamuroさんの発表はじまった! #reprotech pic.twitter.com/Yoa6q8PTwk
2019-06-04 20:46:01
拡大
P 山
@p_hyama
「Taming Distributed/Parallel Query Execution Engine of Apache Spark」 by Takeshi Yamamuro #reprotech pic.twitter.com/dkGjmpB7MF
2019-06-04 20:47:31
拡大
threetreeslight
@threetreeslight
「一昔前のhadoopはinstallするのに2日かかりました」 まじかｗ #reprotech
2019-06-04 20:50:18
P 山
@p_hyama
Spark Meetup Tokyo #1 (Spark+AI Summit 2019) が 2019/06/12(水) に開催されるとな #reprotech
2019-06-04 20:51:27
threetreeslight
@threetreeslight
「まずクエリを最適化するのが大事。その先にPlanとか処理の最適化をするべき」 #reprotech
2019-06-04 20:52:10
P 山
@p_hyama
#reprotech twitter.com/maropu/status/…
2019-06-04 20:52:27
Takeshi Yamamuro
@maropu
ブログ書きました // Spark+AI Summit 2019参加レポート at San Francisco — Spark3.0/Koalas/MLflow/Delta Lake - NTT Open Source blog - medium.com/nttlabs/spark-…
2019-05-28 12:31:15
joker1007 (アルフォートおじさん)
@joker1007
mac proで1/5TBのメモリを詰めば100GBぐらいのCSVはpandasで処理できそうw #reprotech
2019-06-04 20:53:49
えっちゃん
@eccyan
NTT の @maropu さん Spark コミッターによる Spark のお話し #reprotech pic.twitter.com/D3YKwoTGs7
2019-06-04 20:54:00
拡大
拡大
拡大
拡大
Yuki Nagae
@yukinagae
pyspark、pandasとインターフェースだいぶ違うので置き換えるの頭の体操感ある(˘ω˘)ｽﾔｧ #reprotech
2019-06-04 20:55:02
カントク
@uokada
個人的に気になるのがspark実行するのにどの分散処理エンジンで実行するのが流行ってるのか? 世の中のトレンド知りたい。 #reprotech
2019-06-04 20:56:30
threetreeslight
@threetreeslight
「Query側からでチューンしたいけど、出来ないことも多い。どうしようもないので分散ログを見ていく」 なるほどｗ #reprotech
2019-06-04 20:57:37
threetreeslight
@threetreeslight
「Spark v2.4.3から遅延評価を行わないオプションが追加された」 ってまじかｗ #reprotech
2019-06-04 20:59:01