エレン先生が翻訳ＡＩを起動させると

uroak_miku @Uroak_Miku

深層学習（deep learning）について今のうちにかじっておきたくてごそごそ文献に当たっていたら「ボルツマン・マシン」なる概念と遭遇。ぼるつまん？おお、ボルツマン分布に由来するそうです！ pic.twitter.com/OCDbwHwCsu

拡大

uroak_miku @Uroak_Miku

機械翻訳の新しいパラダイム：ニューラル機械翻訳の原理 中澤 敏明 jstage.jst.go.jp/article/johoka…

uroak_miku @Uroak_Miku

＞ニ ュ ー ラ ル 機 械 翻 訳（Neural Machine Translation: NMT） 2014年。

uroak_miku @Uroak_Miku

＞2016年11月にGoogle翻訳がNMTを採用したときには大きな話題となった。 そうそうありましたありました。私もちょっと驚いた。

uroak_miku @Uroak_Miku

これが旧型ですね。統計的機械翻訳（SMT） pic.twitter.com/zZxYq0nC0W

拡大

uroak_miku @Uroak_Miku

これが現行型。ニューラル機械翻訳（NMT）。 DeepL翻訳をこの半年いろいろ試してみて、どうも入力言語内、出力言語内でそれぞれ校閲機能が回っている感じがしていたのですが、この概念図によると、私の感覚はどうやら正解？ pic.twitter.com/LaIlJ8AqVm

拡大

uroak_miku @Uroak_Miku

＞モデル自体は非常にシンプルになり使いやすくなったのだが，翻訳の過程の解釈は困難，もしくは不可能である。

uroak_miku @Uroak_Miku

この〈EOS〉というのが鍵のようですね。 pic.twitter.com/W7cMHMDeGh

拡大

uroak_miku @Uroak_Miku

＞出力する単語候補には<EOS>も含まれており，これが出力された時点で翻訳が完了する。

uroak_miku @Uroak_Miku

＞NMTでは符号化された入力文とアテンションの情報からデコーダーが次に出力する単語を1つずつ決定し，<EOS>が出力された時点で翻訳が完了する。

uroak_miku @Uroak_Miku

＞デコーダーが<EOS>を出力するまで翻訳は継続し，いつ<EOS>が出力されるかは今のところ知るすべがない。このため入力文のすべてが過不足なく訳出されるという保証がない。

uroak_miku @Uroak_Miku

＞過去に訳出した箇所の情報をもっていないため，同じところを複数回訳出したり（重複訳：over translation），まだ訳出していない部分があるにもかかわらず，<EOS>にアテンションして翻訳を終了させてしまったり そう、これ！ときどき起きるんですよ。

uroak_miku @Uroak_Miku

＞もちろんこの点に関してはさまざまな研究者が解決に向けて研究しているところだが，今のところ決定的な方法は考案されていない。 前から気になっていましたが、原理的困難ですか。

uroak_miku @Uroak_Miku

＞日↔英に関しては評価の低い文の割合は減っているものの，評価5の割合も減っていることがわかる。これは現在のNMTの最大の問題である「訳抜け」によるものである。 これはGoogle翻訳での検証ですが、今の私が使っているDeepL翻訳だと日→英の精度はもっと高く感じます。 pic.twitter.com/47ARoC24VF

拡大

uroak_miku @Uroak_Miku

＞ここで注意したいのは，NMTの翻訳は訳文だけを見るとどれも完璧な日本語の文として成立しているという点である。 そうそう、訳文じたいはすごく自然。

uroak_miku @Uroak_Miku

＞原文と照らし合わせて初めて翻訳誤りが含まれていることが判断できるが，訳文だけを見ても気づくことはできない。 これはDeepLには当てはまらないかな。日→英だと、英文が露骨に構文エラーなことがごくまれにあります。

uroak_miku @Uroak_Miku

cresco.co.jp/blog/entry/130… DeepL上に日本語で論文を書き進めて英文出力したものを、英語の得意な同僚にチェックしてもらって英文校閲会社に出して完成、とあります。私と同じことをなさっていますが、英文の校正もネイティヴチェックも人任せなのが情けない。

uroak_miku @Uroak_Miku

このDeepLの原理が今なおわからない。

uroak_miku @Uroak_Miku

しかしひとつたしかなのは、私にとっては潜在能力をフルに活かせるどころか、さらに進化を促してくれる機動戦士だってことですねっ。

uroak_miku @Uroak_Miku

♪ﾃﾞﾝｯﾃﾞﾝﾃﾞｰﾝ､ﾃﾞｰｯﾃﾞﾝﾃﾞﾝ､ﾃﾞﾝｯﾃﾞﾝﾃﾞｰﾝ､ﾃﾞｰｯﾃﾞﾝﾃﾞﾝ､ﾃﾞﾃﾞｯ､ﾃﾞﾃﾞﾃﾞﾃﾞｯ(ﾁｬｶﾁｬｰﾝ) pic.twitter.com/SI7fABOlp1

拡大