word2vecにニンジャスレイヤーを解析させてみて思ったこと

今回は形態素解析関連のまとめよりも忍殺成分がかなり低めなので、あまり興味が湧かなければ読み飛ばし推奨です。
9
ぴんくふわねこ @non_117

忍殺語形態素解析辞書「チャドー」がリリース|Colorless Green Ideas http://t.co/TZAMZRKafh / 誰か忍殺word2vecやってくれ

2014-05-16 07:22:34
Fumiaki Nishihara(西原史暁) @f_nisihara

word2vecを組み合わせると面白そうですね。 RT @non_117: 忍殺語形態素解析辞書「チャドー」がリリース|Colorless Green Ideas http://t.co/AG4W7M9D7F / 誰か忍殺word2vecやってくれ

2014-05-16 08:19:18
忍殺語形態素解析辞書「チャドー」 @njdict_Chado

word2vec、興味深いな・・・deep learning?ニューラルネットワークで自然言語を解析するのか?

2014-05-16 13:31:11
忍殺語形態素解析辞書「チャドー」 @njdict_Chado

かなり衝撃を受けたのは「例えば"king"から"man"を引いて"woman"を足すと"queen"が出てきたり、 "東京"から"日本"を引いて"フランス"を足すと"パリ"が出てくる」という一文。単語同士を足し引きすることで、意味を演算している。

2014-05-18 00:21:52

引用元はこちら:
自然言語処理の最新手法"word2vec"で艦これ加賀さんから乳を引いてみる
http://antibayesian.hateblo.jp/entry/2014/03/10/001532

忍殺語形態素解析辞書「チャドー」 @njdict_Chado

まだあまり良くわかってないんだけど、単語同士の関連をニューラルネットを使ってネットワークすることで、ある単語を指定したときに、その単語が抱え持つ関連性というのか、背景というのか、概念というのか、とにかくそういった感じのものが生成されるという理解で良いんだろうか?

2014-05-18 00:26:24
忍殺語形態素解析辞書「チャドー」 @njdict_Chado

で、その概念を足し引きして、計算後の概念に近似する概念を持つ単語が出力される、ということになるのかな?

2014-05-18 00:27:26
忍殺語形態素解析辞書「チャドー」 @njdict_Chado

足し算引き算できるだけだったらそれの何が凄いの?という感じではあるんだけど、これって基礎技術なんだよな?例えば、計算機技術の黎明期に論理回路というものを体系化しました、みたいな。

2014-05-18 00:37:49
忍殺語形態素解析辞書「チャドー」 @njdict_Chado

これを応用・発展させていくことで、画期的な技術が生まれたり、意味解析にブレイクスルーが起きるかもしれない、と。

2014-05-18 00:37:56
忍殺語形態素解析辞書「チャドー」 @njdict_Chado

自分の手元には形態素辞書も綺麗な状態のコーパスも存在するし、やろうと思えばできるのか。

2014-05-16 13:32:03

↓ここからしばらく実行環境設定(画像のところまで飛ばしてOK)

忍殺語形態素解析辞書「チャドー」 @njdict_Chado

Python読み書きしたことないんだよなぁ・・・名前の由来がモンティパイソンだということぐらいしか知識がない。

2014-05-16 13:38:57
忍殺語形態素解析辞書「チャドー」 @njdict_Chado

gensimっていうのはPythonでベクトル演算やる為に必要なのか?

2014-05-16 13:43:04
忍殺語形態素解析辞書「チャドー」 @njdict_Chado

とりあえずPython入れればいいんですかね?

2014-05-16 13:51:49
忍殺語形態素解析辞書「チャドー」 @njdict_Chado

ライブラリ、32bitしかないんかい・・・インストールし直し。アンオフィシャルで64bitもいけるらしいけど、調べるのめんどいので後回しで。

2014-05-16 14:07:18
忍殺語形態素解析辞書「チャドー」 @njdict_Chado

easy_installがエンコードエラーで落ちてインストールできないのはVLC MediaPlayerが悪さしてるのか?

2014-05-16 14:34:25
忍殺語形態素解析辞書「チャドー」 @njdict_Chado

残念ながら迎えが来たので時間切れ。とりあえず、実行環境とコーパスは準備できたから、帰ってきたら試してみよう。

2014-05-16 14:45:20
忍殺語形態素解析辞書「チャドー」 @njdict_Chado

ちょっと鈴鹿サーキットで自転車こいできます。

2014-05-16 14:45:40
忍殺語形態素解析辞書「チャドー」 @njdict_Chado

帰宅したので昨日の続き。こちら http://t.co/Wer3Nc5iEl を参考に、Pythonの実行環境をセットアップして別途忍殺本編のコーパスを用意しわかち書きファイルを作成したところから。

2014-05-18 00:14:58