なにこの技術…?画像解析ディープラーニングを使ってさまざまななものをノリノリにしてしまった人現る「これめっちゃ好き」「超笑ってる」

いろいろな発展性がありそう
113
foka @foka22ok

DeepLabをリアルタイムで動かすことができたので、TouchDesigner連携して強制的に音楽にノリノリにさせてみました。 #touchdesigner #deeplab #semanticsegmentation pic.twitter.com/uM72AhKSCk

2020-05-26 18:28:58
foka @foka22ok

思ったより見てくれる人が多いので少し補足。 これはTouchDesignerから映像送ってSegmentationで領域抽出し、その領域だけをリズムのバスドラムの音域使ってオーディオリアクティブで動かしてます。 映像はNHKクリエイティブライブラリーを使わせてもらいました。 リズムはAbleton使って作ってます。

2020-05-27 11:59:59
foka @foka22ok

リアルタイムじゃなくても良いなら、同じDeepLabにより高精度のSegmentationモデルがあります。 高精度は手元のPCだと4FPS程度だったので、精度よりも速度重視モデルを使いました。 それと、リアルタイム不要でクオリティ上げるならinpaintingという領域塗りつぶし技術も検討したいところ。

2020-05-27 11:59:59
みんなの反応
furugen @furugen5

これ、めっちゃ好きですw 面白い。 twitter.com/foka22ok/statu…

2020-05-26 21:31:58
s h @s0kih

こういう良い意味でアホみたいな技術の使い方すき twitter.com/foka22ok/statu…

2020-05-27 20:50:29
@kayakaya66666

RT:そういうふうにノリノリなの!?(爆笑)

2020-05-27 18:40:44
わふてぃ @zikisashi

₍₍ ◝('ω'◝) ⁾⁾ ₍₍ (◟'ω')◟ ⁾⁾

2020-05-27 19:07:52
KEYCRASH™ @aze_KEYCRASH

これ結構ずっと見てられる

2020-05-27 23:48:55
あへ @OEROrz

リズム天国になっていてかわいい

2020-05-27 23:51:22
roxAC🍁 @roxasAC

お前も”ノリノリ”にしてやろうか?!

2020-05-28 06:41:01
DKT @DKTneiro

@foka22ok 色んな最高なMVが出そう…!

2020-05-27 15:25:01
マサーシー@MASA-SEE @masashi0509

これ、VJで使えるなと思ったけどpc死ぬな。 twitter.com/foka22ok/statu…

2020-05-28 11:16:03
残りを読む(14)

コメント

イチロー @sbzkichi 2020年5月28日
これはすぐに広告業界が飛んできてCMでパクられる。
3
さしみ @05A5H1M1 2020年5月28日
Cyriakって言おうとしたらもう言われてた
16
mikumiku_aloha @mikumiku_aloha 2020年5月28日
ドラムの音にノッテ動く人のタイミングを学習させてミックスさせたわけではないのね
0
立川 @tatikawawa 2020年5月28日
グロくないスィリアックと言おうとしたら言われまくってた
4
yamada @mbdkelsocielq 2020年5月28日
Cyriakって言おうとしたらもう言われてたって言おうとしたらもう言われてた
19
こうき(注意力散漫) @senryuan1982 2020年5月28日
RamRiderの東京論のMVもビルや車が弾んでた こういうの流行ってるのかな
0
カエルのような生き物 千景ケロケロ @1000cage 2020年5月28日
スィリアックの路上でお茶飲んでるおっちゃんと車の奴じゃん!と思ったらやっぱり既出だったか
4
春夏秋冬 @akito110 2020年5月28日
Cyriakって言おうとしたらもう言われてたってもう言おうとしたら言われてたってもう言われてたしたらもうて言おうとしたらCyriakってもう言おう言われてたって言われてたってCyriakってもうしたらもうて言おう
3
毘藍 山風蠱(元16TONS) @moonintears16t 2020年5月28日
『YEAHYEAHYEAH... YEAHYEAHYEAH...』 「止めて、いますぐそのテープやきすてて」
0
ST_009 @ST_565 2020年5月28日
外国のCMみたいな動画やな
0
じ〜げん〜 @jigen357mgnm 2020年6月1日
ビデオ編集職人が一生懸命手作業でMVとか作ってたのに、AIのせいで仕事失うことになるワケですねw 本当にありが/ry
0