EMNLP2015読み会

KN @nzw0301

頻出語をSG，低頻度語をCBOWで学習して混ぜるとうまくいく #emnlpyomi

Yuya Unno @unnonouno

Skip-gramに比べてCBoWの方がレア単語に強いので、頻度に応じて両者を分けることで性能が上がるという話。出現頻度に寄って両者に違いがあるということを実験的に確かめてたというところが面白いところ #emnlpyomi

shuyo @shuyo

ハブを説明するのに自転車と空港が定番なところ、攻殻機動隊が出てくる niam さんｗ #emnlpyomi

KN @nzw0301

行列積がdotで書いてあるので注意しましょう #emnlpyomi

Kosuke Tsujino @kosuke_tsujino

文の難しさのヒューリスティックな定義に単語の「長ったらしさ」(単語あたりのシラブル数や漢字の難しさや文字数)が使われているが、これを使って単語の難しさを推定するって何かトートロジーぽい気もする。 aclweb.org/anthology/D/D1… #emnlpyomi

Yuya Unno @unnonouno

文書の難易度判定のタスクで、単語間の難易度の差を考慮した行列で、文書ベクトルを変換、グラフ伝搬で学習すると精度が上がる。やるべきことをちゃんとやっているという感じの印象 #emnlpyomi

梶原智之 @moguranosenshi

@niam @unnonouno あ、niam先生の発表ですか、納得です。これまだ読んでいませんでした。ありがとうございますm(__)m

イルカ人間 @niam

ハブの説明をする時，GIS 2nd GIGのクゼしか頭になかった（汗

shuyo @shuyo

LSTM はやってんな～。RNN の時点でそこはかとない気持ち悪さを感じていて、LSTM になってなぜかますますその感が強くなったのだが、その気持ち悪さの正体を言語化できずにいる。

KN @nzw0301

あれはkyteaのことだろか #emnlpyomi

KN @nzw0301

「Chainer使えば帰りがけにできる」 #emnlpyomi

Yuya Unno @unnonouno

LSTM-RNNで中国語単語分割するはなし。出力ラベルを直接推定するんではなくて、そこに遷移行列をかけて、遷移行列もend-to-endで学習する。言われてみればそれでよかったのか・・・ #emnlpyomi

rikima @rikima

黒背景はもう絶対使わない。。。

shuyo @shuyo

「夏天能穿多少能穿多少、冬天能穿多少能穿多少」は「冬はなるべくたくさん服を着て、夏は着る服が少なければ少ない方が良い」という意味らしい lang-8.com/635431/journal… #emnlpyomi

Yuya Unno @unnonouno

圧縮接尾辞木でLMの計算を、省メモリ、高速に行う話。ちゃんとKneser-neyしてて、それのために変な分岐数を計算しているところがボトルネック。昔、接尾辞木で出現頻度と文脈長の積の総和を最適化した話をおもいだした　#emnlpyomi

Hiroki Yamamoto @tereka114

普段NLPについて、纏めて知る機会がないので、勉強になるなぁ。at emnlp勉強会

KN @nzw0301

Evaluation methods for unsupervised word embeddingsの発表資料です． word embeddinsの評価方法を集めた論文です / slideshare.net/kentonozawa75/… #emnlpyomi

rikima @rikima

Evaluation methods for unsupervised word embeddings は読んでおこう。 これベースで今度やる単語クラスタリングの評価をやるとか

Jiro Nishitoba @jnishi

Compact, Efficient and Unlimited Capacity: Language Modeling with Compressed Suffix Trees の資料をアップロードしました。 slideshare.net/JiroNishitoba/… #emnlpyomi

TOKUNAGA Hiroyuki @tkng

資料をアップロードしました speakerdeck.com/tkng/emnlp2015…

Yuya Unno @unnonouno

埋め込みベクトルの評価方法を網羅的にサーベイ。複数の埋め込みベクトル獲得手法と、評価方法を網羅的に試している。頻度の扱いはどうするのか問うのは、議論が多そう #emnlpyomi

やぐ @yag_ays

いま出ているLSTMの資料はこれかな　kaishengtai.github.io/static/slides/…

Jiro Nishitoba @jnishi

「ちょっと頑張った」がだいぶ頑張った感がある。 #emnlpyomi

Yuya Unno @unnonouno

アテンションつきencoder/decoder翻訳で、アテンションを張るときに全体（グローバル）にはるのではなくて、選択的に注目するところを選ぶ（ローカルアテンション）。結果を見ると、ローカルアテンションの寄与は少ないようにみえる？ #emnlpyomi

Jiro Nishitoba @jnishi

「ユーモアを理解するにはコンテキストを含め多くの知識が必要」いや、人間にも難しい。 #emnlpyomi