Spark Summit 2014 まとめ

yumano @yumano

PregelはGraphXの上にあるAPI層

yumano @yumano

pic.twitter.com/YHJM1qLCWL

拡大

yumano @yumano

pic.twitter.com/1ltx1jGAwQ

拡大

yumano @yumano

Tripletのオペについての解説スライド、

yumano @yumano

MRのときのTripletについて。

yumano @yumano

例えば、一番年寄りのフォロワーはだれ？という検索 pic.twitter.com/NrCgHuoJSP

拡大

yumano @yumano

RDDでグラフを表現 pic.twitter.com/hnrx6N4Udj

拡大

yumano @yumano

RDD pic.twitter.com/ha5CS4nTgH

拡大

yumano @yumano

こんな表現になる pic.twitter.com/RyobKzW4vM

拡大

yumano @yumano

キャッシュを利用。ローカルキャッシュを直して それを左に反映 pic.twitter.com/DKcelrtDGw

拡大

yumano @yumano

パフォーマンス pic.twitter.com/Ei4VHnxJZj

拡大

yumano @yumano

トレーニングの内容はこちら pic.twitter.com/idBklZ9mPH

拡大

yumano @yumano

エンハンス予定。インクリメンタルアップデートとか。 pic.twitter.com/YJXVHIeeuP

拡大

yumano @yumano

普通に紹介で終わった。

yumano @yumano

トレーニングの内容はこちら databricks-training.s3.amazonaws.com/index.html

yumano @yumano

今日のスライドがアップされている！！ spark-summit.org/2014/training

yumano @yumano

今日のトレーニングファイルをboxにおきました。容量が足りなくなったら消します。 app.box.com/s/05duvu6s41xd… Bitcasaにファイルを移す予定。招待枠で登録して貰えると容量が増えて嬉しいです。 l.bitcasa.com/W0lejaDk

yumano @yumano

MLのチュートリアル、Pythonが３じゃ動かない！printをprint()に変更とraw_input()をinput()の2点の修正が必要！！

yumano @yumano

@yumano Spark チュートリアルのはまったポイント (Windows) Pythonは2、ファイルパスにスペース入れない。シェルの変わりにcmdファイルを叩く。パス指定は/でなく\でないと動かないことがある（かも）。既知問題ページ参考にすること。