AI x WebXR: フェイストラッキングを用いた擬似3D表現を解説!

1/27に開催した勉強会の様子 https://xr-fukuoka.connpass.com/event/201933/
7

顔認識

ずきゅ~んたん @ZuQ9Nn

座標の変換がムズイな。。ここがキモなポイントのように思える #AR_Fukuoka

2021-01-27 20:15:41
永井ひろかず @tabibits

webカメラ情報からz座標を取ろうとしているの、学習結果から予測してるのかな #AR_Fukuoka

2021-01-27 20:28:12
永井ひろかず @tabibits

今回の勉強会のテーマ、これまではkinect使ってやったので、それがwebカメラでできるようになるなんて。。。ですね。 #AR_Fukuoka

2021-01-27 20:30:28

顔の位置とA-Frameのカメラを連動

じゅん@3/17MRHack 3/20XRMTG北海道エリアのお世話 9/28💉7 @jun_mh4g

#AR_Fukuoka 顔の位置とカメラを連動させるための仕組みの導入 しゃがむと積木の描画範囲が上に上がった👀 pic.twitter.com/ZRV0N0cXJW

2021-01-27 20:31:46
拡大
拡大
拡大
拡大
ずきゅ~んたん @ZuQ9Nn

だんだんと数学的な要素が強くなってきている。。 #AR_Fukuoka

2021-01-27 20:39:56
じゅん@3/17MRHack 3/20XRMTG北海道エリアのお世話 9/28💉7 @jun_mh4g

#AR_Fukuoka 部屋のサイズ設定 キャンパス領域を取得して、変形させる処理 pic.twitter.com/Q7djqLVofH

2021-01-27 20:44:20
拡大
拡大
拡大
拡大
ずきゅ~んたん @ZuQ9Nn

作った本人も、これ一回で理解しろ言われると無理w #AR_Fukuoka

2021-01-27 20:46:10
永井ひろかず @tabibits

理解が追いついてないので語彙力 #AR_Fukuoka

2021-01-27 20:46:32
ずきゅ~んたん @ZuQ9Nn

数学が苦手だと、なんやようわからん。。うん。マジで、今、そんな感じだw #AR_Fukuoka

2021-01-27 20:54:22
じゅん@3/17MRHack 3/20XRMTG北海道エリアのお世話 9/28💉7 @jun_mh4g

#AR_Fukuoka 画角の調整を入れる事で、部屋をスクリーンに貼り付けてる風に見せたいパート nearとfarで奥行きの区間+上下左右の壁で囲まれた領域を切り取るのが視野の考え方 再び座標変換パート Rc→ごにょごにょ→Rs pic.twitter.com/JoglXRLJy6

2021-01-27 20:55:08
拡大
拡大
拡大
ずきゅ~んたん @ZuQ9Nn

4 x 4 の行列。いわゆる。Matrix4x4って奴かな。Unityにもあるよね。。 #AR_Fukuoka

2021-01-27 20:56:07
とり子 @siroitori0413

画角の計算の説明を聞いている。行列計算ってこんなときに使うのか…お恥ずかしながら高校・大学の数学以来の出会いです。お久しぶりです。すみません、あなたのことはもう何も覚えていません。 #AR_Fukuoka

2021-01-27 21:00:59

微調整して完成