@n_hidekeyさんと@mamorukさんの示唆に富んだ会話

Hideki Nakayama @n_hidekey

正直、RNNはあまり好きになれないというか、なんでそんなに良いのか肌感覚として納得できていない。CNNが画像認識で圧倒的なのは本能的に理解できるのだけど、自然言語の人なんかはそういう感覚ってあるのかな。

Mamoru Komachi @mamoruk

@n_hidekey 言語は割とマルコフ性があるので感覚的には分かります。ただ長距離の依存関係があるので、素の RNN より LSTM のほうが納得いきます。言語は木構造が好きな人も多く、recursive NN のほうが肌に合いますが、頑健性の問題でうまくいくかは別問題…

Hideki Nakayama @n_hidekey

@mamoruk 気になるのはHMMやCRFと比べてなぜ急によくなってきたかというところなのですが、やはりLSTMが効いているのでしょうか？

Mamoru Komachi @mamoruk

@n_hidekey 表現学習により、データスパースネスが解消されたところかなーと思います。ただ、性能向上はそこまでではない気がします。スパースネス解消としては Brown Clustering などクラス言語モデルを入れるとよくなることは知られており、同じか少しよい程度かなと…

Mamoru Komachi @mamoruk

@n_hidekey データが少なかったころは品詞や句みたいなラベルでやっていたところ、データが増えて語彙化したことで精度が上がり、さらに表層と品詞の間で各タスクに効きそうなよさげな粒度のクラスを見つける、と発展をしてきたのですが、DLはそれを自動でやってくれるのがいいのかなとか

Hideki Nakayama @n_hidekey

@mamoruk なるほど、横目で見ているとすごい盛り上がりですが、そこまで性能が上がっているわけではないのですね。学習データがさらに増えてきたら差が広がっていくという可能性はないのでしょうか。画像認識ではそういう歴史を辿っているもので。

Mamoru Komachi @mamoruk

@n_hidekey はい、応用タスク次第で十分ありうると考えています。データ量で差が広がる可能性があるのは、対話、機械翻訳あたりかなと考えています。要は、入力と出力のペアを大量に収集できるか？　ということかなと思いますが、大規模に品詞や構文木をアノテートするのは厳しいと……

Hideki Nakayama @n_hidekey

@mamoruk なるほど、やはり焦点はそこなのですね。一般的な画像認識タスクの場合、アノテーションに深い専門知識は必要なく、どこの国の人でもそれなりにできるのでクラウドソーシングでスケールさせやすく、一気に教師付きデータセットが大規模化したことが非常に大きいと思ってます。

Mamoru Komachi @mamoruk

@n_hidekey はい、おっしゃる通りだと思います。クラウドソーシングでスケールするようなタスクが NLP ではどれくらいあるのか、それはどのようなアプリケーションにつながるか、というところですね。やはり人間が見えないものを書くのは難しいので、文生成ではないかとにらんでます。

Hideki Nakayama @n_hidekey

@mamoruk 大変勉強になりました。どうもありがとうございます。