情報処理学会第217回自然言語処理研究会（NL217）
-
- いいね！0
Mamoru B Komachi
@mamoruk
田さんは noise contrastive estimation の紹介をしてくださるそうです。「あれすごくいいね〜」と。これから常識になる機械学習の手法だそうです！JMLR の論文が基本。P_{model}(x; θ) のパラメータθを推定したい。#signl
2014-07-03 17:33:23
Koji Matsuda
@conditional
確率モデルは正規化が重いのだけれど，データに（割合をあらかじめ決めて）ノイズを混ぜておいて，各データに対して（ノイズなのかそうでないのか）を判別するようなパラメータをMLEで求めると，正規化を回避して(真のパラメータに漸近するような)パラメータを求められる #signl
2014-07-03 17:40:06
Koji Matsuda
@conditional
ということらしいけどわかってない．．． Smith&Eisner の Contrastive Estimation とはまったく別の話なのかな．
2014-07-03 17:41:37
Mamoru B Komachi
@mamoruk
もう一つ紹介してくださる論文は Semantic Parsing via Paraphrasing という論文。質問応答タスク。P(正規形, 論理形式 | 質問文) を推定する。言い換えた論理形式で同じ答えに行き着くように学習？ #signl
2014-07-03 17:47:49
Mamoru B Komachi
@mamoruk
しかし実は WebQuestions データは Semantic Parsing せず単純な SVM でも state-of-the-art に（しかも同じ著者が共著者）。。。自然言語のQAが難しいのかもしれないが、そもそもこのデータセットがよくないような？ #signl
2014-07-03 17:59:33
enjoy my life
@issei_sato
@k_ishiguro @mamoruk 基本的には分配関数の計算を省略して統計モデルのパラメータだけ推定する古よりあるモチベーションなのですが理論もしっかりしてるので。
2014-07-03 18:04:28
イルカ人間
@niam
NCE、流行のword2vecみたいに、単語のベクトル表現を作るのに使えそうだなー、と思ったら、去年のNIPSでやられていた。 papers.nips.cc/paper/5165-lea…
2014-07-03 18:05:12
イルカ人間
@niam
@issei_sato ああ、やはり。唐突にNCEが出て来たので、なんでなんだろうなー、と思ったら、そういうことだったのですね。ありがとうございます。
2014-07-03 18:09:07
enjoy my life
@issei_sato
@niam もともとYee WheyたちがやっていたNueral language modelとかで使われているんで、ベクトル表現獲得に使うのは新しいアイデアではないんですけどね
2014-07-03 18:18:46
みずもともや
@tomo_wb
今日の晩ご飯は網走ビール館！！ @ YAKINIKU 網走ビール館 instagram.com/p/p-_8odkQ9s/
2014-07-03 18:45:53