「中間表現」という形での映像の「概念」の認知

yasutomo57jp @yasutomo57jp

@payashim 昨日の話，映像検索は，10年ほど前に「マルチメディア情報検索」ってキーワードで流行ったようですが，最近は日本の検索屋さんはもっぱらテキスト情報付きデータ(ニコ動とか)の検索の方へ移っているようです．

Masaki Hayashi @payashim

@yasutomo57jp なるほど。画像検索が流行らないというよりはテキスト検索の敷居が広がったという状態の気がしますね。やはり画像全体にBoFでは正しくコンテキスト認識できようがないので、シーン解析手法にブレイクスルーが来てから画像ベースのビデオ検索が流行ると思います。

yasutomo57jp @yasutomo57jp

@payashim ひとりで映像解析〜検索はかなり辛いので，映像→タグ付けの研究と，タグ→検索の研究に別れてそれぞれやればいいと思います．ただ，それらをmixして新たなブレイクスルーが生まれるのかもしれませんが

Masaki Hayashi @payashim

@yasutomo57jp そういう筋道で行くとすると、クエリーを何にするかは置いといて「映像の画像によるタグづけ」イコール「言語的な意味づけ」だと思うので、NLPとCVの両方の理解あるひとが先陣を切って欲しいところです。

yasutomo57jp @yasutomo57jp

@payashim NLPは昨日の話で言うところの「ことば→概念」だと思うので，それに対応する「映像→概念」の研究が必要ですね．ただ，タグ付けの場合，「映像→概念→ことば」にしないといけないのかな…．となるとCVとNLPの協力が必要かもしれませんが．

yasutomo57jp @yasutomo57jp

@payashim 「概念」を「ことば」ではなくもっと直接的に記述することは出来ないのでしょうかね…

Masaki Hayashi @payashim

@yasutomo57jp 人間の物体認識は言葉ベースなので、なかなか他の方法は難しいのでは？

yasutomo57jp @yasutomo57jp

@payashim いや，人間の物体認識が，「物体→中間表現→ことば」なのであれば，中間表現の段階で検索クエリとかを考えたほうが良いのではないかなぁと思ったのです．もちろん「物体→ことば」で認識しているのであればそれは無理ですけど．

Masaki Hayashi @payashim

@yasutomo57jp ふむふむ。脳で物体を言葉にする前に、形とか色とかボリュームによって言葉にする前にカテゴリー分けをしてるかもしれないので、その辺りを中間表現と言っていますかね？だとするとなおさらシーン解析やジオメトリー/フォトメトリーがそこに必要なかんじがします。

Masaki Hayashi @payashim

@yasutomo57jp あと、もちろん各物体の単体の動きやインタラクションも動画の表すコンセプトの一つなわけで、一枚絵のシーン解析による各物体の認識はもとより、その動きやインタラクションも中間表現があるでしょうね。

yasutomo57jp @yasutomo57jp

@payashim そうです．ニューラルネットで言うところの中間層みたいなやつだと思うのです．これはあらゆる認識問題に共通すると思います．

Masaki Hayashi @payashim

@yasutomo57jp 認知系の話専門じゃないから詳しくはないのですが、中間表現も一部は言語になってたりするんですよね？AppearanceとかShapeなら言語なしで中間表現になれると思うのですけど、色とかスケールなど言語に直して認知している中間表現もあると思うので。

Masaki Hayashi @payashim

昨日の @yasutomo57jp さんとの動画検索エンジンの議論もあとでtogetherにまとめないとですね。