2015/02/19 デブサミ2015 【19-B-2】DMMのビッグデータ分析のご紹介 ～Sparkによるリアルタイムレコメンド～ #devsumiB
Developers Summit 2015 Growth!
http://event.shoeisha.jp/devsumi/20150219/session/642/
＜講演概要＞
DMMでは、SocialStreamをリアルタイムに分析し、注目度の高いワード、流行なワードを元にしたリアルタイムレコメンドシステムの研究を行っています。大規模なリアルタイム分析を実現するために、SparkStreaming、MLlib（機械学習）、GraphX（グラフ処理）による並列分散処理基盤の構築を行ってきました。さらに、形態素解析器やSolrを用いた自然言語処理を組み合わせることによる精度向上にも取り組んでいます。本講演では、これらシステムの構築の手順やサンプル等を用いて、わかりやすく説明します。
続きを読む
-
- いいね！85
FUJII Yoshitaka
@yoshiyoshifujii
はじりましたー。 #devsumiB pic.twitter.com/U3lo8su51e
2015-02-19 11:07:11
拡大
Yuri Odagiri
@ixixi
艦娘の関係性をTwitterをデータソースにしてSpark streamingとgraphxで解析とな。 #devsumiB
2015-02-19 11:10:05
Yuri Odagiri
@ixixi
ソーシャルストリームを形態素解析して、商品検索(solr)して、トレンド抽出とクラスタリングして、レコメンドという流れ。ワードとジャンルをくっつけるのね。トレンドtoアイテムとのこと。 #devsumiB
2015-02-19 11:17:12
FUJII Yoshitaka
@yoshiyoshifujii
トレンド to アイテム。 ツイートからレコメンドまでかー。それを数秒でやる。と。 #devsumib
2015-02-19 11:17:39