夏真っ盛り！Spark + Python + Data Science祭り まとめ #summerDS
-
- いいね！3
Tatsuo Kawasαki
@kernel023
推薦システムを作るため、購入履歴や閲覧履歴をHadoopクラスタに転送し、ジョブを投入してサービスごとに必要な推薦アルゴリズムなどを選択。結果をHBaseに転送 #summerDS
2016-07-25 19:32:30
しばたこ
@uryyyyyyy
リコメンドエンジン、推薦アルゴリズムは三種類使い分けられるように。PALSとアイテム類似度と、マテリアライズドファクトリアライゼーション？追いつかない。。 #summerDS
2016-07-25 19:32:33
Sho Shimauchi
@shiumachi
Hadoopに購入履歴等のアクティビティログを保存してSparkでリコメンドのモデリングをしてその結果をHBaseに格納ZK上の推薦ID(サービスとアルゴリズム)毎のバージョンを更新。サービス側にはHBaseでデータを提供 #summerDS
2016-07-25 19:33:55
Aki Ariga
@chezou
“ALS、アイテムベース協調フィルタ、pLSA?のアルゴリズムを選べる。その後推薦結果をバンディットを使ってリランキングする” #summerDS
2016-07-25 19:35:32
Tatsuo Kawasαki
@kernel023
SparkでのItemベースの協調フィルタリングの実装。ユーザベースの協調フィルタリングの問題点と協調フィルタリングの利点について #summerDS
2016-07-25 19:36:18
Masahiro Sakai
@masahiro_sakai
ちなみに、こういう推薦アルゴリズムの基本については、 Courseraに Introduction to Recommender Systems coursera.org/learn/recommen… というコースがあってオススメ。 #summerDS
2016-07-25 19:38:04
Aki Ariga
@chezou
今日の #summerDS のconnpassの参加者のアンケートの集計結果です。pandasで集計、可視化してます gist.github.com/chezou/5d38674…
2016-07-25 19:38:56
Sho Shimauchi
@shiumachi
やってることはシンプルだけどSparkで書くからほんと普通のプログラミングと変わらないな。MapReduceだとこうはいかない #summerDS
2016-07-25 19:43:33
Tatsuo Kawasαki
@kernel023
最後は「Sparkを活用したレコメンドエンジンのパフォーマンスチューニング＆自動化」 DMM.com labo かさきさん #summerDS
2016-07-25 19:45:52
y__sama
@y__sama
夏真っ盛り！Spark + Python + Data Science祭り connpass.com/event/34680/ #summerDS
2016-07-25 19:48:38
ucchi
@naotaka1128
DMM月間25億PVって全然想像でけへん世界や。 あと、先月まで把握してなかったサービスのリアルタイムレコメンドエンジン開発とかすごい。#summerDS
2016-07-25 19:50:22
Aki Ariga
@chezou
本日の資料です。notebookはこちら github.com/chezou/ibis-de… / “Ibis: すごい pandas ⼤規模データ分析もらっくらく#summerDS” htn.to/RnvizY
2016-07-25 19:50:35