グリーンバックに全身グリーンタイツ着てバーチャルモーションキャプチャーを使えば、現実の物をアバターに持たせることができるのでは?…という妄想を試してみました

427
なつのっと @natsunot

グリーンバックに全身グリーンタイツ着てバーチャルモーションキャプチャーを使えば、 現実の物をアバターに持たせることができるのでは? ……という妄想を試してみました。 pic.twitter.com/txMFKxqVoK

2019-01-02 02:17:10
なつのっと @natsunot

現実の物をアバターに持たせるテスト2 pic.twitter.com/DGC3CFEU3B

2019-01-02 02:17:11
なつのっと @natsunot

現実の物をアバターに持たせるテスト3 pic.twitter.com/ZA2BqvVp0F

2019-01-02 02:17:11
なつのっと @natsunot

現実の物をアバターに持たせるテスト4 pic.twitter.com/Uk9sd6bqBw

2019-01-02 02:17:12
なつのっと @natsunot

バーチャルモーションキャプチャーの表示の上に、 Webカメラの映像をクロマキーで抜いて合成(OBSを使用)。 合成結果をLIVでゲーム画面(H3GVR)と合成して撮影しています。 撮影風景は誰かに見られたら即死ものです。 pic.twitter.com/tY0S7kMsiM

2019-01-02 02:17:12
拡大
拡大
なつのっと @natsunot

頭のトラッカー位置ズレてたり、露光やピントの設定が飛んでたり、手の形が左右で違ったり、 クロマキーの設定がアバウトすぎたり、HMD被ってないとLIV合成で深度が考慮されないの忘れてたり ……と、色々おかしいですが、ご容赦くださいませ……

2019-01-02 02:17:13
なつのっと @natsunot

一人で顔まで覆うタイプの全身タイツ着て試したため、 背中ファスナーで体力が尽き、着たら何も見えずという状況で、 設定ミスをやり直す気力が残らなかったのです……

2019-01-02 02:17:13
なつのっと @natsunot

@kedamanusu 現実の物を体で遮るような構図になると、 アバターと中の人の体形の違いがはっきり見えちゃうのと、 顔まで覆わないといけないので、実用するのはなかなか大変そうです。 (頭のトラッカー周辺は強制透過させるような仕組み作って、物を頭付近に近づけないという運用をするならありかもしれないです)

2019-01-02 03:48:42
はちだいmasaossa @masaossah

@natsunot 顔まで覆うんですもんね! お疲れ様でした(笑)

2019-01-02 03:07:27
なつのっと @natsunot

@hachidai520 ありがとうございます~! トラッカー類をつけてしまうと、ファスナーがうまく扱えないため、 ファスナー閉めてからほぼ視界無しの状態でトラッカーの装着等を行ったのですが……頭トラッカーが横向いてました(涙

2019-01-02 03:51:58
ROBA @XR Kaigi 12/20~22 @vjroba

@natsunot こういうのをやってるのですが、よかったらVR緑タイツトークしませんか。 twitter.com/asobo_twoshot/…

2019-01-02 03:42:45
なつのっと @natsunot

@vjroba おお!VR緑タイツ合成の先駆者様でしたか! 当方、緑タイツ歴は数時間の新参のため語れるほどのものが……。 埋め込みツイートの内容は、クロマキーっぽくない映りですが、キャラクターは常に最前面表示、はみ出てしまう部分を緑タイツのクロマキーで消すという感じなのでしょうか?

2019-01-02 04:11:30
ROBA @XR Kaigi 12/20~22 @vjroba

@natsunot うちのはキャラクター最前面、クロマキーで抜いたところに事前に撮影しておいた背景を合わせています。背景写真<クロマキーを抜いたリアルタイム映像<CGとなっています。

2019-01-02 04:35:08
なつのっと @natsunot

うまくいきませんでしたが、報告までに追加で試したことを投稿いたします。 <試したこと> 1.トラッカーを消す(ほぼ成功) 2. 現実の手を持ち込む(う、うーん?) 3. 顔に布を当てて飲食してみる(準備不足過ぎた……いろいろヒドイ結果に) pic.twitter.com/9bd8muDUxv

2019-01-03 18:05:57
なつのっと @natsunot

視界確保を先送りにしたため、一人二人羽織状態 pic.twitter.com/oDVZV8Yvot

2019-01-03 18:06:47
なつのっと @natsunot

中の人よりアバターのほうが頭が大きい事がほとんどだと思うので、 着ぐるみみたいな構造物を被れば……いや、頭を満足に動かせないですね。 うーん。

2019-01-03 18:08:00
なつのっと @natsunot

トラッカーはこんな感じで、手に固定するバンドは前回使った緑色の物を流用したので手のバンド部分が消えちゃってます。 あと、モデル側は手を非表示にしたわけではなく、ただグーにしてるだけの雑仕様です。 pic.twitter.com/DQ2jO2uauQ

2019-01-03 18:13:06
拡大
ドミノ【🦋】 @dominoru

@natsunot 現実の人とアバターの絡みも出来るって事ですね!スゴ!

2019-01-02 09:13:39
◤◢NK Apple User ◤◢ @n_kuramoto

@natsunot ボーカロイド型アバターが現実の楽器を演奏とか可能になるわけですね

2019-01-02 08:32:16
Akaneko@最近NGS @x_akaneko_x

@natsunot @keitits 凄いけど、周りから見たらただのヤバいやつですね笑

2019-01-02 08:34:52
ノラネコP @VR_Produce_Nora

まてよ、これは自分以上の脳筋だけど凄いぞ……ブレイクスルーだ! 現実物品レビューや紹介全部出来るじゃん。 無限ポリゴン現実物体モデルがモデリングせずに持ち込める! twitter.com/natsunot/statu…

2019-01-02 09:51:04