画像・音声・テキストメディアの意味理解に関わる諸々 その１

@suzuvie_re

@_akisato 部分照合と文脈的なものの組み合わせかもしれませんね。抽象的なシンボルをどう構成するか、スパースというか差がつくように学習するかというのはやはり難しいような気がします。差をつける、分離するってのが肝かもしれません。

Akisato Kimura @_akisato

@suzuvie_re それらをロバストにしようと思ったとき、照合なりモデルなりの各シンボルをどう表現するのか？という部分が最大の問題になると思っています。これは極論すれば、特徴抽出と次元削減の問題で、これはこれで非常に難しいと思っています。

Akisato Kimura @_akisato

@suzuvie_re 人間がどうやっているかについては私も勉強不足で何とも言えないですが、計算機で実現しようと思うと、行間補完は部分照合、概念化は階層Bayesモデル、じゃないかな、と思っています。

@suzuvie_re

@_akisato あー仮説ありきですよね。いいですね。というか当面それしかないですよね。それで、人間のやってる行間の補完や概念化（イデア的な）のロバスト性ってどっからきてんだろうと思っています。

Akisato Kimura @_akisato

.@suzuvie_re 僕も似た問題意識を持っています。かなりの難問ですが、自分の得意分野を出発点に「小説」を作ってしまう作戦はありだとおもいます。ノンフィクションにするのは後からでもいいかな、とか。

@suzuvie_re

差異しかないとか、つながりとか型とか、意味理解はどこをとっかかりにしていったらいいんだろう。不完全な談話から事象を抽出するとか。語られない共通のバックグラウンドってモデル化できるのかなぁ。

Masaki Hayashi @payashim

@_akisato 難しい課題ほど環境の変化を上手くつくって、突破口を作って頂ければと思います。応援してます！そしてこちらこそ勉強になっているので、礼にはおよびません。画像内容認識には疎いので、またいろいろ教えて下さい。

Akisato Kimura @_akisato

@payashim ありがとうございます！いままさにいろんな方にご協力いただくながら頑張ろうとしているところです。

Akisato Kimura @_akisato

例えば、いま僕が「死にたい」とかつぶやいたとき、本当に命を断ちたいのか、ひどく恥ずかしいのか、ただの冗談なのか、判断に困るような気がする

Akisato Kimura @_akisato

テキスト情報だけでその真偽や真面目さを判断するのは、かなりの難問に思える

Masaki Hayashi @payashim

@_akisato センスがあるかどうかは存じかねるんですが、そこに自信がないとすると得意な他人の脳みそをいかに使えるかですね。できないことがあってもできるひとに協力してもらえばかならず突破口はあると思うので！

Akisato Kimura @_akisato

.@payashim 検索はさておき認識は、対象を限定しないとなかなか決定的な出口がないのも１つの大きな問題かな、と思っています。認識系を使ったうまいアプリケーション設計は必須だと思っています。でも、アカデミック色の強い私はあまりそのようなセンスがないんです orz

Masaki Hayashi @payashim

@_akisato 個人的には客観評価できないのであれば、アカデミックなところより技術として役に立つものであれば十分な気もしますが、それをアカデミックに評価してもらいたいのであれば難しい問題ですね。

Masaki Hayashi @payashim

@_akisato つまり、画像のみから認識して人間らしい意味付けは厳しいので、画像サイトなどのタグみたいな人間の意味付けを半教師にするような研究はないのかなという疑問ですね。

Masaki Hayashi @payashim

@_akisato 例えばおっしゃってる個人差で言えば「かっこいい」犬と、「かわいい」犬の差とかがあると思うのですが、flickerの画像へのタグとかがかっこいいかかわいいかの半教師になりそうな気がしますという意味です。

Akisato Kimura @_akisato

@payashim 認識対象の語彙を限定する、ということはよく行われていると思います。こうすると、認識と検索との距離が一気に縮まり、問題が一気に解きやすくなります。が、逆にとってもつまらなくなります。犬とか猫とか、そんなメタなレベルの物体しか探せなくなってしまうので。

Akisato Kimura @_akisato

@payashim でも、そのようなことをしてしまうと、認識する対象が現実世界と乖離してしまい、研究のための研究に終わってしまう危険性が出てしまいます。この側面で深く考察を進めていくと、出口があるのかどうかわからない洞窟に入ってしまった気持ちになることがままあります。

Akisato Kimura @_akisato

@payashim この問題はacademicな側面ではかなり深刻な問題だと感じています。つまり、客観的かつ定量的に評価するには、誰もが納得するようなキーワードの選択と付与がなされたデータセットを用いなければいけないことになります。

Masaki Hayashi @payashim

@_akisato なるほど。そのあたり詳しくない内容なのであれこれ言っても参考にならないかもしれませんが、その問題への従来研究には、あらかじめいろんな人からの「こういうものにはこの意味で捉える」を用意して、それを用いて半教師学習とかいうアプローチとかはあったりしますか？

Akisato Kimura @_akisato

@payashim つまり、ある特定の画像を見せたときに、それにどのようなキーワードをつける/つけたい/つけてほしい のか、と考えると、そこには興味範囲や恣意性などの影響がかなり入り込んでしまい、安定した結果が得られないと考えられます

Akisato Kimura @_akisato

@payashim たくさんありすぎて困ってしまうのですが ^_^; 一般にあまり知られていなくて特に大きいと思っているのは「semanticsの個人間分散」の問題だと思っています。

Akisato Kimura @_akisato

@takotakot 物体の名称で意識が共有されていそうなものの中にも、色のように相対性が高く生活環境の影響も出やすいケースもあるので、あらかじめ限定・定義しておくことは意外と重要なんじゃないかなぁ、と。

Masaki Hayashi @payashim

@_akisato 差し支えなければどの辺りがしんどいかを教えて頂けると興味深いです。ただし、教えて頂ける場合、ご自分の研究の秘技を公開してしまわないようにご注意ください。

Yoh Okuno @yoh_okuno

@_akisato なるほど、たしかに画像検索だと認識と違って、検索に適した多くの画像を持っておいて上澄みだけを見せることができますね。

Akisato Kimura @_akisato

質問にまともに答えられていない。全体的に疲労しているっぽい