SparkMeetup

Kenji Yoshida @xuwei_k

うっ・・・ #sparkmeetup github.com/apache/spark/b… ScalaReflectionLock.synchronized { val mirror = runtimeMirror(Utils.getSparkClassLoader)

tacke @tacke_jp

さすがパターンマッチ。 #sparkmeetup

Kenji Yoshida @xuwei_k

@xuwei_k ぱっと見Javaのリフレクションだけでいけそうなところまで、Scalaのリフレクション使ってる箇所ありそうな気もする？ #sparkmeetup (発表と関係なく一人ソースコードリーディングになってる)

Taro L. Saito @taroleo

先日聞いたらエンジニア20人だったのに、もう35人になってた #sparkmeetup

Geforce RTX 3060Ti @showyou

SparkはHadoopと違ってpull reqなんすね。。

Taro L. Saito @taroleo

西海岸は人の動きが速い

Makoto Sasaki @makoto78sasaki

Coalesce の発音は忘れやすい #sparkmeetup

和田俊輔 👼 @letusfly85

Spark SQL の実行計画がOracleのアレにしか見えない… #sparkmeetup

Taro L. Saito @taroleo

@okachimachiorz1 御社やうちの業務だとニーズがありそうですが、一般には確かに(^-^;;

Masaru Dobashi @masaru_dobashi

そうですね。私が半年ほど前に聞いたときはもっと少なかったので、すごい勢いで増えております。。。 #sparkmeetup

Nobuhiro Sue @nobusue

SparkSQLにはあまりなじみがなかったのですが、普通のRDDですね #sparkmeetup

和田俊輔 👼 @letusfly85

解析って毎回走るのか？ #sparkmeetup

御徒町＠MultiVersionConcurrentClimber(MVCC) @okachimachiorz1

通常のSQLの最適化で行われることを淡々とやっている感じ。#sparkmeetup

Kenji Yoshida @xuwei_k

パーサーとかその後の事前最適化とか、Spark自体に興味なくてもそういうプログラミング言語一般の実装に興味あるひとなら、このSpark SQLの部分Scalaで順当に全部そういうのを実装してるらしいので、コード読んだらたしかに楽しめそう #sparkmeetup

tacke @tacke_jp

Spark、on Scalaの恩恵受けまくっててよい。型付けされる言語内DSL素敵。

Masaru Dobashi @masaru_dobashi

個人的には、SQLで書きたい部分をSpark SQLを利用して書いて、Scalaで書きたい部分にそのまま繋げられるのが使っていて心地よいです。 気持ち悪い人には気持ち悪いのかもしれませんが… #sparkmeetup

tagomoris @tagomoris

この単純な最適化が実際に効くケースが実世界でどのくらいあるんだろ、という知見をまったくもっていない

十級呪物disktnk @disktnk

この手のって、自動的にやってくれないのは、よしとみるか、残念と見るか… #sparkmeetup

Akihiro Okuno @choplin

predicate pushdownもあるね

Akihiro Okuno @choplin

sparkのコード大分読みやすい

Nobuhiro Sue @nobusue

SparkSQL、けっこう使えそう。そういえばPatrickさんが「Spark StreamingのRDDは特殊なのでSparkSQLで取り出すと楽だよ」って言ってたのを思い出しました。 #sparkmeetup

和田俊輔 👼 @letusfly85

走査アルゴリズムの実態って？ #sparkmeetup

Taro L. Saito @taroleo

エンジニアが作業する分には、SQLと他のデータ処理をつなげられると良いのはよくわかる #sparkmeetup

御徒町＠MultiVersionConcurrentClimber(MVCC) @okachimachiorz1

ということで、まぁ普通に最大の興味はcost-baseが果たしてどうか的な #sparkmeetup

Akihiro Okuno @choplin

object Optimizerを見る限りだとルールベースの最適化しかないですね