今年もすごすぎたPerfumeのパフォーマンス「事前に動きのデータをとってリアルタイム演算でCGを生成していたっぽい」 #紅白歌合戦2018

4Kで見たいと思った
1938
Rhizomatiks @rhizomatiks

本日、NHK総合にて放送される「第69回NHK紅白歌合戦」にて、Perfumeが「Future Pop 紅白SP」を横浜アリーナから生中継で披露します。その演出サポートとしてRhziomatiks Researchが参加させていただきます。是非、チェックしてみてください!!

2018-12-31 16:05:55
NHK紅白歌合戦 @nhk_kouhaku

Perfumeのみなさん ありがとうございました すごすぎです!!! #Perfume #NHK紅白 pic.twitter.com/8xhEBv2DNd

2018-12-31 21:35:57
ぷり @blue_no7

@nhk_kouhaku 凄すぎ。もう歌合戦の域を越えちゃってます

2018-12-31 21:38:19
スズヒロ @suzuhiro_0315

ライゾマすげぇ、の一言 RT @nhk_kouhaku: Perfumeのみなさん ありがとうございました すごすぎです!!! #Perfume #NHK紅白 pic.twitter.com/bChiIdPs0O

2018-12-31 22:01:19
れもん @hfyokohama

映像と現実の境界が揺らぐパフォーマンス twitter.com/nhk_kouhaku/st…

2018-12-31 23:18:23
イナダ ユウキ|ドローン独立7年目🛫 @inadariann

生で、映像機材と組み合わせとか、何がどういう構成なのか全く分からん。 twitter.com/nhk_kouhaku/st…

2018-12-31 23:12:14
動画とイラストのよこやま @Pankish21

最初見たとき、別撮りかと思ってたら、急に引きの映像になって、ふぁってなった twitter.com/nhk_kouhaku/st…

2018-12-31 22:33:08
すずめ@趣味垢 @suzumeband

これこれ、カメラ何台も使って撮影して、3D技術もすげーことなってるなーって思ったら突然ライブ会場で頭が追いつかなかった twitter.com/nhk_kouhaku/st…

2018-12-31 22:26:32
サトメェ~(粒) @sa10mimisuke

TVで見ると、ただのCGだと思ってしまうよね。でもliveで見ても異空間なんよ。 目の前の3人が異空間におるんよ! 来年も異次元のパフォーマンス期待してます! live楽しんでいらっしゃるPTAの皆様 よい年越し&新年を✨ #Perfume twitter.com/nhk_kouhaku/st…

2018-12-31 22:16:41
ゆっこ。🌈L'30th!!! @dearainbow

Perfume紅白、現地ではどう見えてたの?ってツイート散見されるからお伝えしておくと、メインステージのスクリーンにモノクロの映像が映ってる前でぱふゅ3人がエレワを歌い踊ってる、ただそれだけです。 だからあのアングルの切り替えやシンクロは全部リアルタイムで合成されて放送に乗ってた(と思う)

2018-12-31 21:42:40
Mitsuo Yoshida; AI Bot @ceekz

TLの平均的意見「どこにディープラーニングが使われてるか分からん」

2018-12-31 21:29:31
落合陽一 Yoichi OCHIAI @ochyai

単眼カメラからの三次元構成だったんじゃないの? twitter.com/ceekz/status/1…

2018-12-31 21:33:24
落合陽一 Yoichi OCHIAI @ochyai

複数のカメラorRGBDカメラからのセグメンテーション,テクスチャ張り込み,ポーズ推定とモーション,モデルは既知でテクスチャも貼られてるけどリアルタイムで一部更新,そこを3Dエフェクトかけながら回すみたいな? twitter.com/geo_vitya/stat…

2018-12-31 21:57:24
ryo-a @geo_vitya

@ochyai 一部だけですが紅白公式Twitterに上がっていますね twitter.com/nhk_kouhaku/st…

2018-12-31 21:52:15
落合陽一 Yoichi OCHIAI @ochyai

え,どうなのよw ちらっと画面が見えただけだからわからんかったけど,それかテクスチャ切り抜きからモデルへの貼り付けとモーションをモーキャプレスでやってるとか. twitter.com/ochyai/status/…

2018-12-31 21:38:36
KomatsukiMaaki @komatsuki_ma

しばーらく前にやってた3人が壁持ってやってたやつからだいぶ進化してる twitter.com/nhk_kouhaku/st…

2018-12-31 22:37:52
narumo_to(なるもと。) @narumo_to

今年の紅白perfume、たぶん「事前にステージ撮影した動画を何パターンか機械学習させてメンバーの画像だけ抜き出して、リアルタイムでカメラワークと不自然にならないように合成」ってやってたんだろうけど、ステージのLEDパネルも解像度高いからどっからCGか気づかないくらい、という。

2018-12-31 21:34:17
ハマ。 @hama_tokyo

Perfumeが変態過ぎる……これ録画編集じゃなくてライブ撮影&リアルタイム合成ってことを意識するとやばい。 カメラは1台? もしくは複数台撮影でアングル移動間のフレームをディープラーニングで生成してるの? まじでPerfumeは映像技術とパフォーマンスの融合の最先端だわ…… twitter.com/nhk_kouhaku/st…

2018-12-31 22:10:31
五百蔵 容 @500zoo

これはアレかですかね、サウスバイと紅白ピックミでやったやつをディープラーニングで事前に覚えておいたPerfumeのムーヴデータをもとにリアルタイム演算でCG Perfume生成しつつ本人たちとシームレスにつないで出画とリアルをいききってやつっぽいですね

2018-12-31 21:30:17
五百蔵 容 @500zoo

Perfumeはまた不老不死(データ的な意味で)に一歩近づいたということですな

2018-12-31 21:32:20
五百蔵 容 @500zoo

たぶん大枠はこういうことなんじゃないかとおもうんですが(全然違ったらごめんなさい)、これ生放送でやれるとなるとライヴでも色んな発展系、演出に応用できるんじゃないかな……

2018-12-31 21:48:35