2016/02/18 デブサミ2016【18-A-6】Yahoo! JAPANを支えるデータテクノロジー 〜機械学習、クラウド分散システム処理モデル〜 #devsumiA

1
k_yoshida @ysd061

K-means、分かりやすいアルゴリズムだし(Sparkなんかで)分散処理してもわりといい感じで動くけど、上手く適用すると応用範囲広い気がする #devsumiA

2016-02-18 16:52:07
abenben.eth @abenben

今、分散処理のプロダクトが乱立して困っている。たしかに。。。(あ、ブロックチェーン系も追加してください) #devsumiA

2016-02-18 16:54:47
abenben.eth @abenben

分散表現を利用した検索ランキングについても紹介が。単語数はなんと3億8000万件でユニークにすると40万次元になる単語の特徴量をK-meansでクラスタリングしている。距離計算にはコサイン類似度を利用(L1やL2ではないのか...) #devsumiA

2016-02-18 16:58:33
hiroisojp @hiroisojp

後半はスピーカ変わって抽象的な話なので、難しい。。 #devsumi #devsumiA

2016-02-18 17:06:02
You Kinjoh @youkinjoh

分散処理の実装ではなく研究の話だった。 #devsumiA

2016-02-18 17:09:20
dimeiza @dimeiza

新着+人気順は機械学習で実現されていたのか‥。 実用的、現実的に機械学習を導入して恩恵を得ているんだなぁと。 分散システムは温故知新、というのは、まぁ年長者の見識ですかね。 新しいところと古い本質的なところがあるよね、というのはなるほど、という感じ。 #devsumiA

2016-02-18 17:20:14