キャラクターとお出かけできるARアプリ、よく見たらサラッとすごい事してて驚く「二度見しちゃった」

オレンジ🍊 @orange_3134

人の奥側歩けるんだよ〜！🚶🏼💨 かわいいね🫣 #おでかけAR #tokyoxrmeta pic.twitter.com/dU4dkq0R1J

オレンジ🍊 @orange_3134

バズちゃったか…🤤 おでかけARは「アバターが現実に居る」感じの動画がiPhoneだけで撮れちゃうアプリだよ～！🤩 試してみてね！✨ #おでかけAR pic.twitter.com/vSJQAadse8 twitter.com/orange_3134/st…

にくきう🐾 @shiftsphere

ものすごいことであるのに多分多くには伝わらない技術 twitter.com/orange_3134/st…

静 御前（しず ごぜん） @_ssizz_

初見は動画だけ見て「へーー」としか思わなかったけど、違和感に気づいて二度見して「はあぁ！？」ってなった twitter.com/shiftsphere/st…

84式ショボーン @show_bone_84

人を避けるのも凄いけど、奥にいるのがヤバいな twitter.com/shiftsphere/st…

色とりどりのmasami @Hugki11

奥行きの距離の認識もだけど、角度に違和感無く一緒に進んでいくのもヤバい。どうなってんだこれ👏👏👏 twitter.com/shiftsphere/st…

ラーキチくま平 @kumahandhoney

距離感の整合性がとれることによって"そこにいる"感が増してる…… twitter.com/shiftsphere/st…

英田朋(ﾟДﾟ)@23夏乙乙甲甲甲甲甲　3-m-2-pf-💉.exe @ZQ8HcnJ2sfK8t5x

最後に青ジャンパーの人が横切るあたりなんかちゃんと自然に横切った映像になってる辺りすげぇなぁと感じられ。 twitter.com/shiftsphere/st…

あすままま @mikaduki0621

@shiftsphere これは実際に歩いてる人にキャラクターの「ガワ」を乗せているのですか？それともキャラクターだけを現実の映像に乗っけているのですか

にくきう🐾 @shiftsphere

気まぐれにリプします 後者ですね。 現実の映像があって、 床を連続的に認識し続けていて、 人物の前後と輪郭も判定していて、 そこに3DCGアバターを重ねています。 前にいるなら描く or 遮蔽されてるなら描かないの処理を、 動画フレーム以下で超高速で認識して描写できています。 前半の人と人の間からチラ見するところや、 後半の突然フレームインして走ってくる人の輪郭まで前後を判別できているのはとても凄いですね。 あまりに自然過ぎて「そこにいるんだから当たり前じゃん」な映像になってる✨

拡大

拡大

拡大

拡大

アッキーさんこんぴゅーたーえんたーていめんと @Emergency_akki

こちとらパワポの最前列に配置とか後列に配置とかも上手く使えないのに時代はここまできてるのか twitter.com/shiftsphere/st…

めんど @mendo360

単焦点動画からDepth判断とか理由ワカメ技術 twitter.com/shiftsphere/st…

リノレン酸@👑 @rinoren_san

これ画面に写ってる人全員がトラッカーつけてるとかじゃないよね？どうなってんの？？？ twitter.com/shiftsphere/st…

チョコアイスと春菊 @Chrono_Index

@shiftsphere @mikaduki0621 輪郭検出は分かるけど平面画像から断続的に縮尺計算できてるの意味わかんね

冬述 雪葉@地球に起こされた男 @Yukiha_Fuyuno

これリアルタイムで物体を検知して表示物より手前にあるかどうかを判定してるってことやろ？ え、ラグ無しでできるのバケモンか？ twitter.com/shiftsphere/st…

さいだぁ @hgs48_cider

リアルタイムで人間の細かい形と距離を識別、さらにそれをアバターに反映 そしてそれをスマホでできるという軽量化技術 twitter.com/shiftsphere/st…

ࠕ @N4yer

やば、床を平面として取得して、そこから出っ張ってるものをオブジェクトとしてzバッファにぶち込んでんのかな twitter.com/shiftsphere/st…

見えるものが全てじゃない（素振り） @MIENAI_otoko

ド素人でもこれをリアルタイムでやってるということを考えると、多少なりスゴイ技術であることはなんとなくでも感じられるかな 合成というより常時編集し続けているようなことなのかしら？ twitter.com/shiftsphere/st…

白見ささみ@力無きゲームプログラマー @WhiteMeat_CF

AR実装で、リアル映像の 奥行考慮できてるこれすごいよな、 大体はリアル映像と被った時 どちらかが手前に出てしまう というのも、合成する際に リアル→仮想映像てきな感じで レイヤー的に合成するから なんかのセンサを使ってリアル映像から 奥行(Z)を取得出来たら ワンチャンあるのかな twitter.com/shiftsphere/st…

たなか🌸🌙 @Tanaka_holo

ARがめちゃくちゃすごいのに、それプラス障害物のことも処理しながら表示してるってことだよね えぐすぎ twitter.com/shiftsphere/st…

にーさん @niiiii_san

これはMRでは？ pic.twitter.com/SsfEN0TmOQ twitter.com/shiftsphere/st…

拡大