Spark Summit 2014 まとめ

yumano @yumano

Databriksのビジョン。BigDataを簡単に

yumano @yumano

どうやって問題を解決するか？ pic.twitter.com/dgCdXppGlR

拡大

yumano @yumano

Databriks Cloudの発表！おおぅぅ？！

yumano @yumano

aws。msとgceは検討中 pic.twitter.com/sByQFfhp19

拡大

Kenichiro HAMANO @hamaken

Databricks Cloud、発表！ #sparksummit

yumano @yumano

中間層はSparkとして、上位のWorkspaceではNotebooks(データの分析、コラボ、リアルタイム)、Dashboard(WYSIWYG)、JobLauncherを持つ

yumano @yumano

さっきのややこしい図がシンプルになります。 pic.twitter.com/7J0BcfhLrP

拡大

yumano @yumano

ダッシュボード系は専門ツールオススメ pic.twitter.com/sIkx4dsdCy

拡大

yumano @yumano

プロダクトのデモ開始。できるだけ、シンプルに。複雑なものは使いにくいっしょ。

yumano @yumano

オフラインで作ったライブラリをアップロードできる。

yumano @yumano

ボタンひとつでぽっちとクラスタを追加。メモリも200GBでも1TBでもぽちっと追加

yumano @yumano

Notebooksについて。SQL、Python、Scalaが可能。ピボットテーブルをぐ利繰りとデモしてる。

yumano @yumano

ぐりぐり pic.twitter.com/6vb2RRf5lt

拡大

yumano @yumano

次はDashboardについて。出来上がったクエリ結果を公開できる。コラボ機能もデモ、片方のブラウザで編集したら、反対側で見ている人も変更がかかる。

yumano @yumano

さっきまでのデモはワールドカップの結果でぐりぐりしてたけど、今度はでかいデータで実施。3.4TBのツィートをロード。

yumano @yumano

お、10秒程度でクエリの結果が返ってきた

yumano @yumano

時間と言語によるツイートのかたよりグラフ。ら pic.twitter.com/ozM7QarGP9

拡大

Atigeo @atigeo

Proud to be on the list of #Sparksummit sponsors MT @hamaken 、なにげに NTTデータ もスポンサーをやっています。pic.twitter.com/KK3fVKtZUa

拡大

yumano @yumano

次はscalaで分析 pic.twitter.com/PMUmy41ZPb

拡大

yumano @yumano

生データが表示ｗｗｗ 写真撮らないでねｗｗｗ

yumano @yumano

ダッシュボードはクエリ結果なので、データフィードを受け取るとリアルタイムで更新される。

Kenichiro HAMANO @hamaken

Databricks Cloud だそうで。。。Notebook機能にぐっとくる人がいそう。 #sparksummit pic.twitter.com/xCYZdjXxgR

拡大

yumano @yumano

次はConceptベースによるMLデモ。用意したWikipediaのダンプをインポートした。さて、MLを実施。TFIDFモデルを作成、wikiデータでTrainを実施。実行中。たぶん1分弱くらいかかっているかな？

yumano @yumano

さて、サッカーとFIFAの類似性、レスリングとFiFAの類似性を表示。正しく動いたね。

yumano @yumano

次は、tweetに対して類似性を用いたフィルタを実施。