輪講まとめ

IGAKI Hiroshi @hirocell

#rinko A Virtual Agent for a Cooking Navigation System Using Augmented Reality

IGAKI Hiroshi @hirocell

#rinko ユビキタス環境での生活サポートシステムの一つとして料理ガイドシステムにARを適用．

IGAKI Hiroshi @hirocell

#rinko 料理の進み具合を認識し，状況に応じたコンテンツを提供するシステム．映像とテキストだけを利用するものが多い．

IGAKI Hiroshi @hirocell

#rinko ユーザの行動を認識し，料理をスムースかつ楽しくできるようにすることを目的とし，仮想エージェントを実現する．

IGAKI Hiroshi @hirocell

#rinko 既存研究１：音声合成を利用したエージェント．手順読み上げのみ．既存研究２：ロボットを使用した料理ガイドシステム．利用者の動作をシンプルながら予測する？ただ，非常にシンプルなもののみ．

IGAKI Hiroshi @hirocell

#rinko 既存研究２．mixed realityを用いたクッキングサポートシステム．エージェントとシステムインタフェースの詳細の説明はない．

IGAKI Hiroshi @hirocell

#rinko ユーザの振る舞いをセンサが取得し，Task Controllerが料理状態を検知，Interaction controllerが動画，テキスト（レシピ関係）および仮想エージェントをユーザに対して提示する．

IGAKI Hiroshi @hirocell

#rinko Task Controllerは料理の状態遷移モデルとセンサを利用して認識する．センサ環境として，カメラを３台，皿につけられたARマーカ(皿の位置を検知するマーカーと皿の上にものが載っているかを検知するマーカ），ナイフの有無を検知するセンサを利用する．

IGAKI Hiroshi @hirocell

#rinko レシピごとに料理の状態遷移モデルを構築する．例：卵をボウルに入れ，キッチンのワークトップにおく->ボウルに砂糖を加える->塩をボウルに加える->フライパンにオイルを加え，ヒーターの火をつける->...

IGAKI Hiroshi @hirocell

#rinko 仮想エージェントは行う調理の内容に応じて振る舞いが変わる．例：カットのタイミングでは持っている人参を振り下ろす．微妙に萌絵なのがポイントかっｗ

IGAKI Hiroshi @hirocell

#rinko その他の仮想エージェントの機能として，ユーザへの応援ややけどに気をつけて，といった注意喚起を行う．また，ユーザの動きの素早さにあわせてエージェントの動きも素早くなる．

IGAKI Hiroshi @hirocell

#rinko ユーザは装着型カメラを胸部に付けている．キッチンのワークトップには各所にマーカがあり，その装着型カメラで撮影された箇所に仮想エージェントがDisplay上に表示される．ユーザの視界とDisplay上の視界をあわせることで，Displayを見ながら料理ができる

IGAKI Hiroshi @hirocell

#rinko UIの説明：料理の動画およびテキスト説明が表示される．さらに，料理の材料を投入すると（持ち上げると）それを投入したことが画面に表示される．

IGAKI Hiroshi @hirocell

#rinko 実際に白あえや玉子焼きといった３種類の料理を対象にデモンストレーションを実施．仮想エージェントがユーザ行動と連動することが確認できた．

IGAKI Hiroshi @hirocell

#rinko 思ったよりよくできてるなぁ．