【#utmc2】第5回 内容まとめ

東京大学工学部授業「メディアコンテンツ特別講義」第5回内容まとめです。(提出用)
0
G&T in engineering @GandT_eeic

#utmc2 【第5回】佐藤洋一「人の視点から注意・行動を知る」

2016-10-27 16:58:00
G&T in engineering @GandT_eeic

#utmc2 【人間の視野】 …中心視野と周辺視野  中心視野が良く見えるので絶えず眼球を動かす  ↓ 視線を追うことで人を分析できる 応用例:  - 利便性の確認  - 自動運転  - マーケティング

2016-10-27 17:00:51
G&T in engineering @GandT_eeic

#utmc2 具体例:化粧品の広告  →定量的な分析を行う:視線の分析  …常に視線のジャンプを行われながら見られる ・キャッチコピー ・人の顔 ・体 ・化粧品の写真  ↓ 領域に分けて分析するとブランドネームに目が行っていないため、宣伝効果が薄いことが分かる。

2016-10-27 17:05:41
G&T in engineering @GandT_eeic

#utmc2 改善後 …顔にも目が行くが、ブランドネームも見るようになる  - 3秒で到達→2秒で到達  - 300ms滞在→600ms滞在

2016-10-27 17:07:26
G&T in engineering @GandT_eeic

#utmc2 【視線計測の歴史】 - 1890's  目に直接紐を貼り付ける - 1900's  目に点を貼り付け反射の像を取る  …写真を落として左右方向の動きを検知 - ~1940's  ビデオカメラによる観察 - 1950  ヘッドセットにより頭を固定する必要がなくなる

2016-10-27 17:11:53
G&T in engineering @GandT_eeic

#utmc2 - 1930's  EOG法:目の電位差の変化をセンサで得ることでリアルタイム観察可能に - 1960's  コイルコンタクトレンズ…目の動きが磁界変化となる - 1960's~  ビデオカメラによる視線計測  →負担減   ↓ 現在では一般に購入可能(固定/眼鏡)

2016-10-27 17:15:31
G&T in engineering @GandT_eeic

#utmc2 【視線計測装置の価格変化】 2000:30,000$ 2010:15,000$ 2013:99$

2016-10-27 17:18:32
G&T in engineering @GandT_eeic

#utmc2 【視線計測の種類】 ①モデルベース  目を撮影して拡大し瞳の位置を追う  角膜反射法:光源を近くに置き角膜反射の位置を基準点とする ②アピアランスベース  回帰問題として視線推定を行う  「見え方」を入力とし、「見えた画像」を出力とする関数の推定

2016-10-27 17:24:07
G&T in engineering @GandT_eeic

#utmc2 ◎問題点 いずれの手法においても、先にキャリブレーション(視線追跡の学習データ)が必要となる (タッチパネルの調整入力のようなもの)  ↓ ・正確に視線を読む時のハードルとなる ・使われる場面が限定される …アピアランスベースの方がキャリブレーション除去に有用

2016-10-27 17:28:19
G&T in engineering @GandT_eeic

#utmc2 【視覚的顕著性】 …色/動きが違う点が視線を引き付ける  →キャリブレーション除去に応用可能性 (視覚探索実験) ○色 ○向き ×色&向き  ↓ 特徴統合理論 ・色 ・明るさ ・方向  →複数情報だとアテンションが入るため時間がかかる   ↓ 視覚顕著性計算モデル

2016-10-27 17:35:21
G&T in engineering @GandT_eeic

#utmc2 【視覚的顕著性と視線推定】 目画像∧顕著性=視点 …ぼやっとしてるので残念ながらあたらない   ↓ 大量のデータの冗長性を利用して推定 …大量にデータを取ってきて平均を出したりする  →本当に見ていたところは点が出てくる  そこを基準点として学習すると結構いける

2016-10-27 17:45:02
G&T in engineering @GandT_eeic

#utmc2 ◎誤差 映画を学習データとして使ったため、センターバイアスがかかる ――中心に顕著性が現れるように映画がデザインされるため  + ・場面の切り替わり部分のデータしか使えない  →切り替わりを検出する技術の併用 ・音も影響するので現在は無音データを利用

2016-10-27 17:51:20
G&T in engineering @GandT_eeic

#utmc2 【画像からの推定】 顕著性からの推定…裏でキャリブレーションを行っている →画像一枚からの視線推定  ↓ 大量の人および視線のデータを用いて学習

2016-10-27 17:57:56
G&T in engineering @GandT_eeic

#utmc2 その後、データ量を増やして各研究機関が学習させ論文を発表

2016-10-27 18:00:34
G&T in engineering @GandT_eeic

#utmc2 【画像の意味理解】 画像の分類 / 意味のある単位にまとめる …人の注視点を利用できる可能性

2016-10-27 18:05:32
G&T in engineering @GandT_eeic

#utmc2 【一人称視点】 監視カメラからの行動分析……よくわからん  ↓ 眼鏡カメラ:一人称行動が撮れる …そろそろ増える

2016-10-27 18:13:06
G&T in engineering @GandT_eeic

#utmc2 【カメラと計測】 ・三人称視点映像  …従来の映像 ・一人称視点映像 ・二人称時点映像  …より近くが映される  →計測精度の上昇    ↓ さらに、人の姿勢や行動と連動することで更なる解析が可能となる

2016-10-27 18:18:22
G&T in engineering @GandT_eeic

#utmc2 ・一人称視点映像早送り平滑化機能 ・大事なシーンのブラウジングを支援

2016-10-27 18:24:04
G&T in engineering @GandT_eeic

#utmc2 [おまけ]機能と紐づけたマップ 例: ソファ→座る 冷蔵庫→開ける キッチン→洗う

2016-10-27 18:26:36