Kenji Yoshida
@xuwei_k
うっ・・・ #sparkmeetup github.com/apache/spark/b… ScalaReflectionLock.synchronized { val mirror = runtimeMirror(Utils.getSparkClassLoader)
2014-09-08 20:12:24
Kenji Yoshida
@xuwei_k
@xuwei_k ぱっと見Javaのリフレクションだけでいけそうなところまで、Scalaのリフレクション使ってる箇所ありそうな気もする? #sparkmeetup (発表と関係なく一人ソースコードリーディングになってる)
2014-09-08 20:14:52
Masaru Dobashi
@masaru_dobashi
そうですね。私が半年ほど前に聞いたときはもっと少なかったので、すごい勢いで増えております。。。 #sparkmeetup
2014-09-08 20:19:22
御徒町@MultiVersionConcurrentClimber(MVCC)
@okachimachiorz1
通常のSQLの最適化で行われることを淡々とやっている感じ。#sparkmeetup
2014-09-08 20:25:02
Kenji Yoshida
@xuwei_k
パーサーとかその後の事前最適化とか、Spark自体に興味なくてもそういうプログラミング言語一般の実装に興味あるひとなら、このSpark SQLの部分Scalaで順当に全部そういうのを実装してるらしいので、コード読んだらたしかに楽しめそう #sparkmeetup
2014-09-08 20:25:34
Masaru Dobashi
@masaru_dobashi
個人的には、SQLで書きたい部分をSpark SQLを利用して書いて、Scalaで書きたい部分にそのまま繋げられるのが使っていて心地よいです。 気持ち悪い人には気持ち悪いのかもしれませんが… #sparkmeetup
2014-09-08 20:26:38
Nobuhiro Sue
@nobusue
SparkSQL、けっこう使えそう。そういえばPatrickさんが「Spark StreamingのRDDは特殊なのでSparkSQLで取り出すと楽だよ」って言ってたのを思い出しました。 #sparkmeetup
2014-09-08 20:28:13
御徒町@MultiVersionConcurrentClimber(MVCC)
@okachimachiorz1
ということで、まぁ普通に最大の興味はcost-baseが果たしてどうか的な #sparkmeetup
2014-09-08 20:28:43