「初めてのSpark」刊行記念 Spark Meetup 2015 #Sparkjp のまとめ
-
- いいね！1
Yukinori 'Bon' SUDA
@sudabon
Spark StreamingとVeloxとSplashのおいしいとこ取りしたのが実はJubatusという事実 #Sparkjp
2015-09-09 20:44:46
Satoshi Hirose / 廣瀬 智史 🐘
@satoshihirose
ストリーミングはSpark Streaming、サービスはVelox、確率的学習はSplash。これらをRDDで繋ぐ。確率的最適化に特化。CommunicationEfficient Algorithmを埋め込んだのがSplash。Jubatusもこの発想。#sparkjp
2015-09-09 20:45:27
Masaru Dobashi
@masaru_dobashi
MLbaseって、最近聞いていない気が...。なにかあったのだろうか。 #spark #sparkjp
2015-09-09 20:48:02
もんた
@___monta___
SparkでDeepLearningは？ →あまり合わないんじゃないの。 NECの新製品 RAPID（とにかく早い、torchと似たようなもの）どぞw #sparkjp
2015-09-09 20:50:36
Satoshi Hirose / 廣瀬 智史 🐘
@satoshihirose
NEC北米研究所は冬の時代からSVMの重鎮。torchの製品版RAPIDを開発して8月発売。北米での映像解析PoC事例。二人乗りバイク検知。ひったくりの検知に使う。#sparkjp
2015-09-09 20:52:06
Koichi Ashizaki
@ko_ash
HPC応用グループの地球シミュレーター jamstec.go.jp/ceist/isd/hpca… #Sparkjp
2015-09-09 20:52:41
木檜(こぐれ)和明@山好きITエンジニア / kogure.eth
@kogurek1
NECのRAPID!! jpn.nec.com/rapid/ #sparkjp
2015-09-09 20:52:50
Kenichiro HAMANO
@hamaken
堀越さんは、『初めてのSpark』の「付録C Spark/MapReduceの機械学習ライブラリ比較検証」を寄稿されていますねー oreilly.co.jp/books/97848731… #sparkjp
2015-09-09 20:58:25
もんた
@___monta___
MLLib vs Mahout ⑴ アイテムベースの場合、おおよそ5分の１の時間（２X分くらいが５分に短縮）→実際のワークフローで非常に意味のある短縮 ⑵ ALSは1/32に短縮された。 #sparkjp
2015-09-09 21:04:30
Satoshi Hirose / 廣瀬 智史 🐘
@satoshihirose
Mahout->Spark MLibに置き換え。実行時間はアイテムベース1/5、ALSは1/32程度短くなった。F尺度はだいたい一緒？同じアルゴリズムのはずなのに何故か一致しない。。。よくあること。 #sparkjp
2015-09-09 21:05:17
T. Chiba
@tatsuhiro
spark 1.5.0出たので，とりあえずPOWER上でビルドして実行してみた．確かにTungstenがデフォになってるっぽいな・・あと，SortMargeJoinになってる #sparkjp
2015-09-09 21:06:29
Masaru Dobashi
@masaru_dobashi
短時間で開発したという話をされていましたが、開発プロセスも含めてスピード感を持って実施できるかどうかって重要ですね。 #spark #sparkjp
2015-09-09 21:06:47