Togetter/min.tを安心してお使い頂くためのガイドラインを公開しました。
2019年1月2日

グリーンバックに全身グリーンタイツ着てバーチャルモーションキャプチャーを使えば、現実の物をアバターに持たせることができるのでは?…という妄想を試してみました

まとめました。
427
なつのっと @natsunot

グリーンバックに全身グリーンタイツ着てバーチャルモーションキャプチャーを使えば、 現実の物をアバターに持たせることができるのでは? ……という妄想を試してみました。 pic.twitter.com/txMFKxqVoK

2019-01-02 02:17:10
なつのっと @natsunot

現実の物をアバターに持たせるテスト2 pic.twitter.com/DGC3CFEU3B

2019-01-02 02:17:11
なつのっと @natsunot

現実の物をアバターに持たせるテスト3 pic.twitter.com/ZA2BqvVp0F

2019-01-02 02:17:11
なつのっと @natsunot

現実の物をアバターに持たせるテスト4 pic.twitter.com/Uk9sd6bqBw

2019-01-02 02:17:12
なつのっと @natsunot

バーチャルモーションキャプチャーの表示の上に、 Webカメラの映像をクロマキーで抜いて合成(OBSを使用)。 合成結果をLIVでゲーム画面(H3GVR)と合成して撮影しています。 撮影風景は誰かに見られたら即死ものです。 pic.twitter.com/tY0S7kMsiM

2019-01-02 02:17:12
拡大
拡大
なつのっと @natsunot

頭のトラッカー位置ズレてたり、露光やピントの設定が飛んでたり、手の形が左右で違ったり、 クロマキーの設定がアバウトすぎたり、HMD被ってないとLIV合成で深度が考慮されないの忘れてたり ……と、色々おかしいですが、ご容赦くださいませ……

2019-01-02 02:17:13
なつのっと @natsunot

一人で顔まで覆うタイプの全身タイツ着て試したため、 背中ファスナーで体力が尽き、着たら何も見えずという状況で、 設定ミスをやり直す気力が残らなかったのです……

2019-01-02 02:17:13
なつのっと @natsunot

@kedamanusu 現実の物を体で遮るような構図になると、 アバターと中の人の体形の違いがはっきり見えちゃうのと、 顔まで覆わないといけないので、実用するのはなかなか大変そうです。 (頭のトラッカー周辺は強制透過させるような仕組み作って、物を頭付近に近づけないという運用をするならありかもしれないです)

2019-01-02 03:48:42
はちだいmasaossa @masaossah

@natsunot 顔まで覆うんですもんね! お疲れ様でした(笑)

2019-01-02 03:07:27
なつのっと @natsunot

@hachidai520 ありがとうございます~! トラッカー類をつけてしまうと、ファスナーがうまく扱えないため、 ファスナー閉めてからほぼ視界無しの状態でトラッカーの装着等を行ったのですが……頭トラッカーが横向いてました(涙

2019-01-02 03:51:58
ROBA@3/25~29下品で最低 @vjroba

@natsunot こういうのをやってるのですが、よかったらVR緑タイツトークしませんか。 twitter.com/asobo_twoshot/…

2019-01-02 03:42:45
なつのっと @natsunot

@vjroba おお!VR緑タイツ合成の先駆者様でしたか! 当方、緑タイツ歴は数時間の新参のため語れるほどのものが……。 埋め込みツイートの内容は、クロマキーっぽくない映りですが、キャラクターは常に最前面表示、はみ出てしまう部分を緑タイツのクロマキーで消すという感じなのでしょうか?

2019-01-02 04:11:30
ROBA@3/25~29下品で最低 @vjroba

@natsunot うちのはキャラクター最前面、クロマキーで抜いたところに事前に撮影しておいた背景を合わせています。背景写真<クロマキーを抜いたリアルタイム映像<CGとなっています。

2019-01-02 04:35:08
なつのっと @natsunot

うまくいきませんでしたが、報告までに追加で試したことを投稿いたします。 <試したこと> 1.トラッカーを消す(ほぼ成功) 2. 現実の手を持ち込む(う、うーん?) 3. 顔に布を当てて飲食してみる(準備不足過ぎた……いろいろヒドイ結果に) pic.twitter.com/9bd8muDUxv

2019-01-03 18:05:57
なつのっと @natsunot

視界確保を先送りにしたため、一人二人羽織状態 pic.twitter.com/oDVZV8Yvot

2019-01-03 18:06:47
なつのっと @natsunot

中の人よりアバターのほうが頭が大きい事がほとんどだと思うので、 着ぐるみみたいな構造物を被れば……いや、頭を満足に動かせないですね。 うーん。

2019-01-03 18:08:00
なつのっと @natsunot

トラッカーはこんな感じで、手に固定するバンドは前回使った緑色の物を流用したので手のバンド部分が消えちゃってます。 あと、モデル側は手を非表示にしたわけではなく、ただグーにしてるだけの雑仕様です。 pic.twitter.com/DQ2jO2uauQ

2019-01-03 18:13:06
拡大
ドミノ【🦋】 @dominoru

@natsunot 現実の人とアバターの絡みも出来るって事ですね!スゴ!

2019-01-02 09:13:39
◤◢◤◢ N↔︎KUser ◤◢◤◢ @n_kuramoto

@natsunot ボーカロイド型アバターが現実の楽器を演奏とか可能になるわけですね

2019-01-02 08:32:16
Akaneko( ᐛ)@18歳無職の廃ゲーマー @x_akaneko_x

@natsunot @keitits 凄いけど、周りから見たらただのヤバいやつですね笑

2019-01-02 08:34:52
ノラネコP @VR_Produce_Nora

まてよ、これは自分以上の脳筋だけど凄いぞ……ブレイクスルーだ! 現実物品レビューや紹介全部出来るじゃん。 無限ポリゴン現実物体モデルがモデリングせずに持ち込める! twitter.com/natsunot/statu…

2019-01-02 09:51:04
残りを読む(5)

コメント

緑川⋈だむ @Dam_midorikawa 2019年1月2日
声優にグリーンタイツ着てもらってグリーンバックのスタジオで演技してもらえば生放送のライブアニメが作れるな
18
さかきみなと⛅榊鐵工 @syouth 2019年1月2日
これは面白いwww没入感と言うか飛び出し感というか、感覚が混乱するwww
18
やって後悔よりやらない選択 @Negative_IsGood 2019年1月2日
これVRゴーグル一式も緑色に塗っちゃえばいいんじゃね。 #適当
15
@burningsaki 2019年1月2日
中の人などいない!
0
來弥 @lier_raiya 2019年1月2日
ジャパ○ットをvtuberがやる時代?(笑)
4
海人(Kaito)@やる気なし症候群 @kait_atc 2019年1月2日
解決策として浮かんだのが自分のモーションをトレースできるロボットを使うぐらいだなー。(なおコスト
0
KLEIN @klein_artifact 2019年1月2日
当たり前ですけど「仕草がリアルすぎ」て、着ぐるみの中身が見えちゃった感が凄い。 でも、二次元キャラに違和感のない仕草を全身タイツ姿で撮影してる姿は、むしろそっちを隠し撮りした映像のほうが再生数が多そう。(野外撮影ならそのうち職務質問か通報待ったなし)
10
mikumiku_aloha @mikumiku_aloha 2019年1月2日
現実のAmazonのダンボールとかタオルをバーチャルキャラが触っているように見えるという凄さが、分かりにくいか?物じゃなくて人でも出来るはずで。実写とバーチャルでダンスとか
7
ざ_な_く&890P@VOCALOID&VTuber @z_n_c_890_P 2019年1月2日
自分自身も緑にすることでバーチャルキャラクターに置き換えやすくするのか…あとはVIVE関連も緑に塗装すれば完璧か?!
1
gesunogesuo @gesunogesuo 2019年1月2日
思ってたよりもそれっぽく見えて凄い…
16
さしみ @05A5H1M1 2019年1月2日
VIVEProだからどうしてもレンズだけは塗れませんね…ノーマルのVIVEならいけるかも
0
緑川⋈だむ @Dam_midorikawa 2019年1月2日
そうか、中の人がグリーンタイツ着てれば普通のスタジオで顔出しの演者とVtuberが共演することも可能か
20
神代武流 @tkr_kmsr 2019年1月2日
進化し続けるバ美肉社会スゴイ。 でも二つ目でタオルはずれるとパンツ見えてるのは狙ってないだろうけど笑ったw モデルの構造で干渉があると、すぐにスカートが奥に行っちゃうぽいなw
3
Chariot @BLACK_RX_24 2019年1月2日
ごめん、顔だけ出して緑の全身タイツ着て背景と合成ってもう「電波少年」が思い浮かんでしまって
1
ざの人(棘用垢) @zairo2016 2019年1月2日
黒パンツが、本来は見えないはずなのに、システムの不具合でチラチラ見えてエロいというのも、この動画の観るべきポイント(笑
0
ɐɥuıɥsnoʇʇɐɥ @hattoushinha 2019年1月2日
Dam_midorikawa 声優の生演技……リアルタイムトラッキングの生放送…………みならい………………うっ頭が
8
mikumiku_aloha @mikumiku_aloha 2019年1月2日
tweetで見かけた話で、このやり方は「残したい映像を残す」のがポイントと言うと分かり易いかも。 消せるのは当たり前で、その当たり前の組合せなんだけど。
1
緑川⋈だむ @Dam_midorikawa 2019年1月2日
hattoushinha 今季だとひもてはうす>台本なしのライブアニメ
0
よもぎ(よう、もぎ) @cataildragger 2019年1月2日
外側が明るい緑のマジックミラーゴーグルがあれば目の空いたグリーンスーツでいけるかな
0
塗装ぺろぺろ @mrtdyo73 2019年1月3日
コメント欄にみならいディーバの話ししてる人いて「仲間……」って気持ちになった
2
Futon-Matsuri @Futon_Matsuri 2019年1月3日
パンツが透け過ぎじゃないですかね… いやいいけど。
0
cocoon @cocoonP 2019年1月3日
おーこれはすごい。さらにこれがマーカーレストラッキングと合わせて進化すると、緑タイツを着なくても人物を3Dモデルにリアルタイムに置き換えられるようになりそう。
0
誤字脱字な研究室@気ままに運用中 @gozidatuzinaLab 2019年1月3日
全身緑タイツでジャパネットたかた見たくネットショッピングをやればウケるんじゃね? てかこれってもしかして服装の着替えとかも簡単に出来るのでは? 好きなキャラに市販のええ感じの服を着せ替えできて、しかも面倒な物理演算は必要ないのだからやりよう次第で画期的な事になったりせんけ? まぁ体系的にキツイところもありそうだけど・・・ 男性用女性服市場が熱くなりそうだw
0
ビールクズ猫 @WAKUWAKUTAKKU 2019年1月3日
まさに現代の映画撮影ってこんな感じじゃなかったっけか。ハリウッドやらテレビ局のスタジオでしかできなかったことが一個人でもできるようになったと考えると   なお、これを見て真っ先に浮かんだのは忍殺のラオモト=サンのテレビ出演シーンだった模様。
4
Hiroshi Yamashita @HiroshiYamashi4 2019年1月4日
天気予報にゲスト参加して半透明になったガチャピンさん思い出した
0
痛い人 @Sogno_Eater 2019年1月4日
Dam_midorikawa 全身緑タイツのやべーやつ相手に何事もなく接するのが一番ハードル高そう、絶対笑っちゃう
0
クゥモレル @ku_moreru 2019年5月14日
毛という毛を処理して肌という肌を緑色にペイント(目は何とかして隠す)とかしたら布なしでもいけるのかなぁ
0