ACL 2015 おもしろかった話

Graham Neubig @neubig

Googleの中川さんはACL2015の論文で、僕が３年前に提案した並べ替え手法(lader)を改良しているが、これはすごい： aclweb.org/anthology/P/P1… 。解析スピードが100倍で、精度も10言語で上昇して構文解析を行う手法と互角。再実装したくなるレベル。

Graham Neubig @neubig

後、ACL2015で我々の研究室から、@odashi_t くんの統語情報を使った同時翻訳 aclweb.org/anthology/P/P1… と、 @akivajp くんのピボット翻訳における中間言語モデルを用いた精度向上 aclweb.org/anthology/P/P1… の２点です！

Naoaki Okazaki @chokkanorg

T3面白かった．テキスト中のprivate state (sentimentやbelief) の統合的な表現形式と，そのアノテーション，effect（活性・不活性）による推論について．acl2015.org/tutorials-t3.h… volta.ldeo.columbia.edu/~rambow/BeSt/

Naoaki Okazaki @chokkanorg

T3のプレゼンはScalaのコードがブラウザ上でIPython notebookのようにリアルタイムで動作していた．このツールはWolfeの一部のようで，自作のプレゼンシステムっぽい．Moro github.com/wolfe-pack/moro

Naoaki Okazaki @chokkanorg

ACL2016ではmeta reviewをarea chairが担当．author responseは個別の査読者に向けたものではなく，area chairに向けたものになるらしい．査読者の負担は減るが，area chairの負担と責任は増加する．

Graham Neubig @neubig

ACL終了！今回、発表はもちろん良かったが、それ以上に世界中の研究者と雑談して裏技を色々教えてもらう収穫も多かった。深層学習で有名な研究者が「Tesla？そんな高いもの買えるか！Titan使ってるよ。」と教えてくれたなど。学会に参加して色々な人と話すのが大事だなと思った。

Graham Neubig @neubig

ACLで面白かった論文1：Wikipediaの表を対象にしたZero-shot Learning質問応答のデータセットとその解法 aclweb.org/anthology/P/P1… 。ウェブ上の大量の表をデータ源にできる可能性があり面白い。

Graham Neubig @neubig

ACL論文2：知識ベースにカバーされている情報とカバーされていない情報を両方扱える意味解析の枠組み aclweb.org/anthology/P/P1… 。Wikipediaから無作為に選んだ名詞句のFreebaseカバー率は72%なので、カバーされていない事象も重要とのこと。

Graham Neubig @neubig

ACL論文3：ニューラルネットと構造化学習を組み合わせた係り受け解析器で最高精度を叩き出した話 aclweb.org/anthology/P/P1… 。ただ、論文の提案手法より、「ニューラルネットのハイパーパラメータ調整はめちゃくちゃ大事！」というメッセージだけがみんなの頭に残った。

Graham Neubig @neubig

ACL論文4：そして、マニアック賞。通信ネットワーク上のパケット解析のために開発されたハードウェアで動く言語モデルを作成し、爆速で動く言語判定器を作成した話 aclweb.org/anthology/P/P1…

Graham Neubig @neubig

ACL論文5：最後に、「if X then Y」のような指示文と対応する意味表現を8万文程度集めたコーパスと、ベースライン作りに関する論文 aclweb.org/anthology/P/P1… 。「言語からコードへ」というタイトルは少し言い過ぎかもしれないが、有用なデータではありそう。

Naoaki Okazaki @chokkanorg

Embeddingセッション "Semantics: Embeddings" "Semantics: Distributional Approaches" "Semantics" "Machine Learning: Embeddings" "Lexical Semantics"

Naoaki Okazaki @chokkanorg

個人的にはワークショップ "Continuous Vector Space Models and their Compositionality (CVSC)" の招待講演が楽しかった．sites.google.com/site/cvscworks…

Naoaki Okazaki @chokkanorg

Kyunghyun Cho氏「NLPの知識は無かったが，NNのMTをサクッと作って結果を分析し，NNの構造を工夫していくことで，Phrase-based SMTと同等の性能が出せるようになった」

Naoaki Okazaki @chokkanorg

Kyunghyun Cho氏のトークのスライドはまだ公開されていない模様．この辺が参考資料になるかも．devblogs.nvidia.com/parallelforall… drive.google.com/file/d/0B16RwC…

Naoaki Okazaki @chokkanorg

Yoav Goldberg氏「魔法ではダメで理解が肝要。Word Embeddingは扮装した分布意味論。全てのタスクに対応できるembeddingはあり得ないので、タスクに応じて考えよ。」 スライド: u.cs.biu.ac.il/~yogo/cvsc2015…

Naoaki Okazaki @chokkanorg

Percy Liang氏「QAタスクにおいて，言語から意味表現への変換（Semantic Parsing）と，意味表現に基づくデータベースへの問い合わせの両方でベクトルを活用する」

Naoaki Okazaki @chokkanorg

Stephen Clark氏「NLP研究者の99%は文の意味をベクトルで表現するのは馬鹿げていると思っているが，私は残りの1%の方だ」

Naoaki Okazaki @chokkanorg

Ray Mooney氏「何千年の歴史がある論理学を捨て，何でもNNでやろうとするのは勿体ない．両者の良い所を取り入れることを考えるべき」 (意訳)

Naoaki Okazaki @chokkanorg

Ray Mooney氏「MLNの推論の効率をlifted inferenceで改善する．論理形式への変換を最新のsemantic parsingで改善する．MLNによる構成的証明や存在証明の効率化してQ&Aを実現する．」

Naoaki Okazaki @chokkanorg

Ray Mooney氏のグループの最新論文（投稿中）: "Representing Meaning with a Combination of Logical Form and Vectors" arxiv.org/abs/1505.06816

Masato Hagiwara (萩原正人) @mhagiwara_ja

ACLで面白かった論文：「酔った勢いツイート」をテキスト分類で自動的に検出するアルゴリズム aclweb.org/anthology/P/P1… 人間の検出精度に迫る64%を達成できたとのこと。どちらかというと必要なのは炎上する可能性のある「バカッター」検出器だと思うけど試みは面白い。

Masato Hagiwara (萩原正人) @mhagiwara_ja

真面目にACLで面白かった論文：構造学習の素性をグループ分けし確度が高くなったら内積の計算を打ち切る高速化手法 aclweb.org/anthology/P/P1… 意味表現→言語表現と逆向きにアノテーションし低コストで意味パーザを作る話 aclweb.org/anthology/P/P1…

Graham Neubig @neubig

「日本の研究機関の言語処理トップ会議論文」リストの2015年版を作りました！ phontron.com/misc/japan-nlp… 数では：NAIST=7.9 NICT=7.5 NTT=5.9 京大=4.5 東工大=3.4 NII=3.1 JAIST=2.0 首都大=1.7 G社=1.7