2015/02/19 デブサミ2015 【19-B-2】DMMのビッグデータ分析のご紹介 ～Sparkによるリアルタイムレコメンド～ #devsumiB
Developers Summit 2015 Growth!
http://event.shoeisha.jp/devsumi/20150219/session/642/
＜講演概要＞
DMMでは、SocialStreamをリアルタイムに分析し、注目度の高いワード、流行なワードを元にしたリアルタイムレコメンドシステムの研究を行っています。大規模なリアルタイム分析を実現するために、SparkStreaming、MLlib（機械学習）、GraphX（グラフ処理）による並列分散処理基盤の構築を行ってきました。さらに、形態素解析器やSolrを用いた自然言語処理を組み合わせることによる精度向上にも取り組んでいます。本講演では、これらシステムの構築の手順やサンプル等を用いて、わかりやすく説明します。
続きを読む
-
- いいね！85
たきぐち in the Cloud💙💛
@atakig
spark streamingは大きいデータストリーミングをリアルタイムに処理したい時に有効 #devsumiB
2015-02-19 11:46:11
猫提督ff/kei
@nekoteitoku
グラフ処理はイテレショーンが必要なのでmap-reduceに合わない。 Pregelのバルク動悸並列処理で頑張る。 #devsumiB
2015-02-19 11:47:41
guyon
@gu4
グラフ利用をする場合にMapReduceだと仕組み上小さな更新でもネットワークに全部データが乗ってしまって相性が良くない #devsumiB
2015-02-19 11:48:47