- tomo1109_Reffi
- 11119
- 0
- 17
- 1
とりあえずword2vecが起動して解析をスタートしたっぽいけど、PROGRESSがなかなか進まない。現在29.47%。これはCythonってモジュールが足りてないせいなのかな?なんか入ってないと遅くなるよ的なメッセージが表示されてる。
2014-05-18 00:16:38word2vecを使って、「タカギ・ガンドー」と関連の強い語を、関連の強い順に並べた結果。わりとうまく出ているのではないかと。 #njslyr7k http://t.co/jMij1pPi6c
2014-05-18 08:44:18同じく、word2vecを使って、「タカギ・ガンドー」+「琵琶湖」を計算してみた結果。「グランド・オモシロイ」というキーワードが急浮上する。 #njslyr7k http://t.co/WYldyvyN2M
2014-05-18 10:34:37@njdict_Chado ガンドー=サンと関連した語にしては「ズバリ」の順位が妙に低いと思いましたが、「ズバリ」と「ZBR」が別の語として認識されているんですね。
2014-05-18 09:12:59@hameln そうですね。形態素解析辞書「チャドー」を使えば「スバリ」と「ZBR」を辞書側で原形集約してやることもできるんですが、今回は特に恣意なくそのままバラしただけで解析してみました。意味解析をさせる場合は、ある程度名寄せしてやったほうが綺麗な結果が得られそうな気がします。
2014-05-18 09:18:15word2vec、ほんとに面白いな。関連度トップ50みたいな感じで表示してやると、足し引きするというのは単語のベクトルを計算してるんだということがなんとなく見えるんだけど、一方ではあたかもその結果が意味を解析しているかのように見えるという。
2014-05-18 09:24:09「意味」とは一体何なのか、という非常に基本的なことを改めて考え込んでしまう。「人間は意味を理解できるが、コンピュータはまだまだ」などと言ってるけど、実際のところ、人間はそんなに高尚なことをしていないのではないか。ニューラルネットということは、つまり人間の脳みそも同じ原理だもんな。
2014-05-18 09:28:03例えば、辞書で何かの「意味」を調べると、そこに載っているのは「ある単語を、その単語自体を使わずに、別の(なるべく平易な)単語に置き換えたもの」なわけだ。
2014-05-18 09:31:48それって実は、「関連性の強い語の中から、レアリティの低い語を機械的に抽出する」という行為で、ほぼ同じことができてしまうのではないか。
2014-05-18 09:33:03辞書というのはそんなに単純なものではない、という向きもあるだろうけど、それっていわゆる「ラスト10%の追い込み」の話なんじゃなかろうか。
2014-05-18 09:41:55例えば、メーカー製のナビは確かに細やかでかゆいところに手が行き届いていて、便利かもしれない。でも、GoogleMapでも日常の使用に耐えないわけじゃない。ときどき「アホの子だなぁ」と思うことがあるにしても。
2014-05-18 09:42:57投入するマンパワーを勘案したとき、こういった機械的な手法である程度のレベルで置き換えが効き、そっちのほうが効率的、というのは、これまで物理レイヤーの話が主だった。つまり、力仕事とか、繰り返し作業とか。
2014-05-18 09:45:36人間特有の知的な分野だと思われていたことが、どんどんコンピュータによって置き換えられていっているというのは、ここ10年ぐらい実感として感じる。というか、はじめてそれを明確に意識したのは、Googleの検索エンジンに衝撃を受けたあたりだったか。そういえばこの技術もGoogleだな…
2014-05-18 09:49:46結局、ラッダイト運動なんてものは無知蒙昧な昔の人間の馬鹿な行動だ、とは言えないのかもしれない。このままの勢いで人間の知的労働とされていた部分をコンピュータが置換していけば(そしてそれはほぼ確実に起こる)、ホワイトカラー層の何割かは失業する。
2014-05-18 09:55:53まあそれは仕方のないことで、なるようになるとしか言えないんだろう。人間の生物としての限界みたいな話で。
2014-05-18 10:01:37シンギュラリティとか、ポストヒューマンとか、機械との生存競争とか、あるいは複合生命体とか、そのへんのSF用語がそろそろ夢物語ではなくなってきている気がしてならない。20年後の世界は一見すると今とそんなに変わらないかもしれない。でも、50年後はどうだろう?
2014-05-18 10:05:04生物種としての人類に、自らが改変した環境への再適応が求められている、淘汰圧がかかっている、ということなんだろうか。word2vec、面白いけどそれだけでは終わらない色々なことを感じる。まあword2vecに限った話でもないけど。直近では電王戦とか。
2014-05-18 10:10:03