2015/02/19 デブサミ2015 【19-B-2】DMMのビッグデータ分析のご紹介 ～Sparkによるリアルタイムレコメンド～ #devsumiB
Developers Summit 2015 Growth!
http://event.shoeisha.jp/devsumi/20150219/session/642/
＜講演概要＞
DMMでは、SocialStreamをリアルタイムに分析し、注目度の高いワード、流行なワードを元にしたリアルタイムレコメンドシステムの研究を行っています。大規模なリアルタイム分析を実現するために、SparkStreaming、MLlib（機械学習）、GraphX（グラフ処理）による並列分散処理基盤の構築を行ってきました。さらに、形態素解析器やSolrを用いた自然言語処理を組み合わせることによる精度向上にも取り組んでいます。本講演では、これらシステムの構築の手順やサンプル等を用いて、わかりやすく説明します。
続きを読む
-
- いいね！85
🌲🌲🌲
@ymo47330070
DMMさんのTwitterリアルタイム処理。Kuromojiに辞書をいれて形態素解析をやっているが、ガンダム種(SEED)はできなかったになごむ。 #devsumi #devsumiB
2015-02-19 11:33:56
Yuri Odagiri
@ixixi
#devsumiB 「悪くない」で「くない」が取れちゃう話は、文脈が読み取れないと言うより、形態素解析失敗という話かなぁ。
2015-02-19 11:40:27