word2vecにニンジャスレイヤーを解析させてみて思ったこと

忍殺語形態素解析辞書「チャドー」 @njdict_Chado

とりあえずword2vecが起動して解析をスタートしたっぽいけど、PROGRESSがなかなか進まない。現在29.47%。これはCythonってモジュールが足りてないせいなのかな？なんか入ってないと遅くなるよ的なメッセージが表示されてる。

忍殺語形態素解析辞書「チャドー」 @njdict_Chado

待てないほどでもないからとりあえずは気長に待とう。次回以降は改善を検討。

忍殺語形態素解析辞書「チャドー」 @njdict_Chado

お、解析終了した！

忍殺語形態素解析辞書「チャドー」 @njdict_Chado

word2vecを使って、「タカギ・ガンドー」と関連の強い語を、関連の強い順に並べた結果。わりとうまく出ているのではないかと。 #njslyr7k http://t.co/jMij1pPi6c

拡大

忍殺語形態素解析辞書「チャドー」 @njdict_Chado

同じく、word2vecを使って、「タカギ・ガンドー」＋「琵琶湖」を計算してみた結果。「グランド・オモシロイ」というキーワードが急浮上する。 #njslyr7k http://t.co/WYldyvyN2M

拡大

某製薬会社営業 @hameln

@njdict_Chado ガンドー＝サンと関連した語にしては「ズバリ」の順位が妙に低いと思いましたが、「ズバリ」と「ZBR」が別の語として認識されているんですね。

忍殺語形態素解析辞書「チャドー」 @njdict_Chado

@hameln そうですね。形態素解析辞書「チャドー」を使えば「スバリ」と「ZBR」を辞書側で原形集約してやることもできるんですが、今回は特に恣意なくそのままバラしただけで解析してみました。意味解析をさせる場合は、ある程度名寄せしてやったほうが綺麗な結果が得られそうな気がします。

忍殺語形態素解析辞書「チャドー」 @njdict_Chado

word2vec、ほんとに面白いな。関連度トップ50みたいな感じで表示してやると、足し引きするというのは単語のベクトルを計算してるんだということがなんとなく見えるんだけど、一方ではあたかもその結果が意味を解析しているかのように見えるという。

忍殺語形態素解析辞書「チャドー」 @njdict_Chado

「意味」とは一体何なのか、という非常に基本的なことを改めて考え込んでしまう。「人間は意味を理解できるが、コンピュータはまだまだ」などと言ってるけど、実際のところ、人間はそんなに高尚なことをしていないのではないか。ニューラルネットということは、つまり人間の脳みそも同じ原理だもんな。

忍殺語形態素解析辞書「チャドー」 @njdict_Chado

例えば、辞書で何かの「意味」を調べると、そこに載っているのは「ある単語を、その単語自体を使わずに、別の(なるべく平易な)単語に置き換えたもの」なわけだ。

忍殺語形態素解析辞書「チャドー」 @njdict_Chado

それって実は、「関連性の強い語の中から、レアリティの低い語を機械的に抽出する」という行為で、ほぼ同じことができてしまうのではないか。

忍殺語形態素解析辞書「チャドー」 @njdict_Chado

辞書というのはそんなに単純なものではない、という向きもあるだろうけど、それっていわゆる「ラスト10%の追い込み」の話なんじゃなかろうか。

忍殺語形態素解析辞書「チャドー」 @njdict_Chado

例えば、メーカー製のナビは確かに細やかでかゆいところに手が行き届いていて、便利かもしれない。でも、GoogleMapでも日常の使用に耐えないわけじゃない。ときどき「アホの子だなぁ」と思うことがあるにしても。

忍殺語形態素解析辞書「チャドー」 @njdict_Chado

投入するマンパワーを勘案したとき、こういった機械的な手法である程度のレベルで置き換えが効き、そっちのほうが効率的、というのは、これまで物理レイヤーの話が主だった。つまり、力仕事とか、繰り返し作業とか。

忍殺語形態素解析辞書「チャドー」 @njdict_Chado

人間特有の知的な分野だと思われていたことが、どんどんコンピュータによって置き換えられていっているというのは、ここ10年ぐらい実感として感じる。というか、はじめてそれを明確に意識したのは、Googleの検索エンジンに衝撃を受けたあたりだったか。そういえばこの技術もGoogleだな…

忍殺語形態素解析辞書「チャドー」 @njdict_Chado

結局、ラッダイト運動なんてものは無知蒙昧な昔の人間の馬鹿な行動だ、とは言えないのかもしれない。このままの勢いで人間の知的労働とされていた部分をコンピュータが置換していけば(そしてそれはほぼ確実に起こる)、ホワイトカラー層の何割かは失業する。

忍殺語形態素解析辞書「チャドー」 @njdict_Chado

まあそれは仕方のないことで、なるようになるとしか言えないんだろう。人間の生物としての限界みたいな話で。

忍殺語形態素解析辞書「チャドー」 @njdict_Chado

シンギュラリティとか、ポストヒューマンとか、機械との生存競争とか、あるいは複合生命体とか、そのへんのSF用語がそろそろ夢物語ではなくなってきている気がしてならない。20年後の世界は一見すると今とそんなに変わらないかもしれない。でも、50年後はどうだろう？

忍殺語形態素解析辞書「チャドー」 @njdict_Chado

生物種としての人類に、自らが改変した環境への再適応が求められている、淘汰圧がかかっている、ということなんだろうか。word2vec、面白いけどそれだけでは終わらない色々なことを感じる。まあword2vecに限った話でもないけど。直近では電王戦とか。