NIPS読み会事前ツイート by @shuyo さん

shuyo @shuyo

週末の NIPS 読み会に向け、読み会で読まない論文からいくつか。[Maurits+]Why are some word orders ...(0369). 言語がとる SVO の順序パターンの多寡を統計的に説明しようとするお話。

shuyo @shuyo

[Maurits+ NIPS2010]続き。402言語について統計を取ると SOV(44.78%),SVO(41.79%),VSO(9.20%),VOS(2.99%),OVS(1.24%),OSV(0%) となるらしい(Tomlin 1986)。一位のSOVは我らが日本語を含む。

shuyo @shuyo

[Maurits+ NIPS2010]続き。SOV,SVO>VSO>VOS>OVS>OSV となる理由の考察はいくつかおこなわれているが、統一的な原理はまだない。uniform information density(UID) を提案してそれによる説明を試みている。

shuyo @shuyo

[Maurits+ NIPS2010]続き。が、UIDを使う範囲では、出てきた数字をどういじっても SOV が少ないはず、という結果にしかならない、困ったな、で終わっていてガックリ。

shuyo @shuyo

[Hu+ NIPS2010] Latent Variable Models for Predicting File Dependencies in Large-Scale Software Development (0977) バージョン管理システムのログから依存関係を抽出。

shuyo @shuyo

[Hu+ NIPS2010]続き。通常、リソース間の依存関係は include してるかどうかなど中身を見て行う。それを「同時にコミットしているか」などの特徴だけから依存関係を推定するという話。うまくいけば、ドキュメント/設定ファイル/ソースなどの依存関係なども抽出できる、かも。

shuyo @shuyo

[Hu+ NIPS2010]続き。手法は Bayesian Bernoulli mixture や Logistic PCA など。実験は Firefox, Subversive, Gimp のバージョン管理システムの履歴情報から推定して ４～６割の精度。うーん……もう一声。

shuyo @shuyo

[Bonilla+ NIPS2010] Gaussian Process Preference Elicitation (0582) ガウス過程によるリコメンド。ユーザTはアイテムXよりYを好む、などの情報からユーザの好むアイテムを予測。えーと、このパターンはなんて言うんだっけ？

shuyo @shuyo

[Bonilla+ NIPS2010] latent utility function f(t,x) はアイテムとユーザから隠れた評価値を与えるものとし、f の差を Normal cdf に入れたものが「ユーザTがXよりYが好きな確率」となる。ちょい乱暴だけど。

shuyo @shuyo

[Bonilla+ NIPS2010]続き。ポイントは f に GP の事前分布を設定することと、ユーザからのレスポンス(おすすめが正しいかどうか)によってパラメータを改良していくフレームワーク(こういうのを Preference Elicitation という？)。

shuyo @shuyo

[Bonilla+ NIPS2010]続き。しましま先生の寿司データ(5000ユーザ、10種の寿司)で実験。10-fold CV だが、訓練データをサンプリングしてとても小さくしている。その理由は一応書いてある。が、「GP だから大きくできない」んじゃあないかと邪推。

shuyo @shuyo

[Bonilla+ NIPS2010]小さい訓練データが baselines にフェアかどうかも気になる。RVOI(restricted value of info.) は参照論文読めばきっとわかるけど、"the best and largest heuristic" って何？

shuyo @shuyo

とりあえず今日はこのくらい。例によって「素人なので突っ込み大歓迎」。ちなみに NIPS読み会で読むつもりなのは [Ding+] t-Logistic Regression (0177) です。