Spark Summit 2014 まとめ

yumano @yumano

データが表示ダッシュボードのリフレッシュは1s/1min/1hourの3段階選べる。

yumano @yumano

3rdアプリものせるよ！ pic.twitter.com/SMgUcHNLTP

拡大

yumano @yumano

DBCloudは100％Appacheだから、Lockinしないよ。Sparkを簡単に学んで使える環境を提供するよ。みんなBD分析したい人は使ってね。

Kenichiro HAMANO @hamaken

Databricks Cloud なダッシュボードなど。デモから。 #sparksummit pic.twitter.com/WORdLyzHnC

拡大

Kenichiro HAMANO @hamaken

パッと見た感じ Japanese の人数、多すぎ！ #sparksummit

Toru Shimogaki @shimtoru

Databricks Cloud の Notebook のデモはなかなかのインパクト。Spark SQL, MLlib, Spark Streaming をサクッと動かして、かつ盛り上げ方もうまい。#sparksummit

Kenichiro HAMANO @hamaken

前回は日本人なんて 俺らしかいなかったので、ギャップが凄いゾw #sparksummit

yumano @yumano

次、AmpLabのキーノートセッション

yumano @yumano

スポンサーがすげえ pic.twitter.com/o64zXVDOI7

拡大

yumano @yumano

3つのリソースをひとつに。アルゴリズム、マシンリソース、そして、人。

yumano @yumano

マシンリソースはクラウド、さまざまな選択肢がある。でも、アルゴリズムはそんなにいくつもない。そして、人はCrowdで働き方が変わってきている。

yumano @yumano

AMPはBerkeley Data Analytics Stackを開発。Sparkはその一部。たくさんの成果が出た

yumano @yumano

未来を見ている。

yumano @yumano

インメモリ、Fault Tolerant なストレージ。

yumano @yumano

BlinkDBは（あいまいな検索ができる）DB　Error Boundsを含んだ検索が可能。なんだこれ・・？

yumano @yumano

なんだ、このファジーな検索ができるDBって？通常はきれいなデータに対して検索するBlinkDBは汚いデータからサンプルを作成し、汚いサンプルから検索を可能に。

yumano @yumano

あ、論文ACM SIGMAであるらしい。

yumano @yumano

次、GraphX、グラフプロセッシングシステム。

yumano @yumano

グラフとテーブルと両方に対応できるDB pic.twitter.com/IbJ3fLSqGC

拡大

SKS rep @repeatedly

@yumano 誤差を許す検索ですよね．どれだけの誤差を許すか指定できて，それによってパフォーマンスが上下する．Approximate queryとかで，既存のミドルウェアでも近いことが出来ますね．PrestoとかRedshiftとか

yumano @yumano

@repeatedly ありがとう！！

yumano @yumano

これがgraphxと言われたスライド pic.twitter.com/Nr0FG044iV

拡大

yumano @yumano

Next　MLBase　機械学習を簡単に。

yumano @yumano

ML Pilelineの図。明日の1時に説明するよ。っていわれた。必見だね。

yumano @yumano

そして、他のプロジェクトについて言及。 pic.twitter.com/xfZhZhwFQL

拡大