-
- いいね！2
Nobuhiro Sue
@nobusue
信号処理はScalaで、データの絞り込みや変換はSparkSQLで、と分担すれば楽ができそうです。 #sparkmeetup
2014-09-08 20:29:52
Yuta Okamoto
@okapies
Scala ファン的な視点で言うと、こういうロジックが素直な表現で書き下せるのは良いところですねぇ。 github.com/apache/spark/b… #sparkmeetup
2014-09-08 20:30:52
tagomoris
@tagomoris
@taroleo そのへんはもちろんそうだろうなと思います。NULLまわりの最適化とかは(まあ簡単にやれるしやるんだろうけど)実際どうなのかなというところにちょっと興味がありました。
2014-09-08 20:31:40
Guutara mmmmm (⁰⊖⁰) くぁwせdrftgy ふじこlp
@Guutara
いやぁ、これは、運用できないぞ。。いまの現場じゃ。教育とか、研究ならいいかなぁ。。
2014-09-08 20:34:04
Yuta Okamoto
@okapies
「Catalyst そのものは一般的な関係代数の実装なので、早いところ Spark の配下から抜けて Pig とかに応用できるようにして頂きたい」 #sparkmeetup
2014-09-08 20:36:02
もろ @低規模言語モデル ';DROP TABLE 人生--
@jagd5168
"基本的に関係代数で表せる処理であれば Catalyst を乗せることができるので Spark 以外でも適用ができそう" #sparkmeetup
2014-09-08 20:36:50
御徒町＠MultiVersionConcurrentClimber(MVCC)
@okachimachiorz1
統計情報？っぽい？もの？・・・なんですかそれわ #sparkmeetup
2014-09-08 20:38:58
Taro L. Saito
@taroleo
@tagomoris コンパイラの教科書的な最適化ですよねぇ。まず最初にやってみたくなる的な #sparkmeetup
2014-09-08 20:39:08
御徒町＠MultiVersionConcurrentClimber(MVCC)
@okachimachiorz1
そもそもデータが分散している基盤で統計情報ってのが的な #sparkmeetup
2014-09-08 20:40:09
御徒町＠MultiVersionConcurrentClimber(MVCC)
@okachimachiorz1
cost-based join reordering #sparkmeetup
2014-09-08 20:43:26
Taro L. Saito
@taroleo
@okachimachiorz @tagomoris マシン台数とかメモリ量とかの情報も渡さないと、join-reorderingは。。。
2014-09-08 20:44:51