なにこの技術…？画像解析ディープラーニングを使ってさまざまななものをノリノリにしてしまった人現る「これめっちゃ好き」「超笑ってる」

foka @foka22ok

DeepLabをリアルタイムで動かすことができたので、TouchDesigner連携して強制的に音楽にノリノリにさせてみました。 #touchdesigner #deeplab #semanticsegmentation pic.twitter.com/uM72AhKSCk

foka @foka22ok

思ったより見てくれる人が多いので少し補足。 これはTouchDesignerから映像送ってSegmentationで領域抽出し、その領域だけをリズムのバスドラムの音域使ってオーディオリアクティブで動かしてます。 映像はNHKクリエイティブライブラリーを使わせてもらいました。 リズムはAbleton使って作ってます。

foka @foka22ok

リアルタイムじゃなくても良いなら、同じDeepLabにより高精度のSegmentationモデルがあります。 高精度は手元のPCだと4FPS程度だったので、精度よりも速度重視モデルを使いました。 それと、リアルタイム不要でクオリティ上げるならinpaintingという領域塗りつぶし技術も検討したいところ。

トビーネット @toby_net

いい……

からあげ @karaage0703

この使い方は面白いw twitter.com/foka22ok/statu…

すとにゃんぺろぺろ丸(偽物) @scenescreamo0

なにこのアゲアゲのアプリw twitter.com/foka22ok/statu…

furugen @furugen5

これ、めっちゃ好きですw 面白い。 twitter.com/foka22ok/statu…

🟧近藤 悟/オレンジの人🟧 @kondo_orange

ヤバイ、めっちゃ好き twitter.com/foka22ok/statu…

𝙨 _h_ @s0kiggggggggggg

こういう良い意味でアホみたいな技術の使い方すき twitter.com/foka22ok/statu…

榧 @kayakaya66666

RT：そういうふうにノリノリなの！？（爆笑）

わふてぃ @zikisashi

₍₍ ◝('ω'◝) ⁾⁾ ₍₍ (◟'ω')◟ ⁾⁾

$₳¥∪₭θ @R_L_kasano

iidxのBGAにありそう

かおりゅ @caoryu_YS

超笑ってる RT

かえるこ @tomopg

ウッキウキで草

ねこたろう@邪神フィギュア屋さんTIA147『O39a』 @LOVEorCRAFT

椅子が踊ってるよ！

KEYCRASH™ @aze_KEYCRASH

これ結構ずっと見てられる

あべ @OEROrz

リズム天国になっていてかわいい

rox🍁momijiAC @roxasAC

お前も”ノリノリ”にしてやろうか？！

おにゃのこ @onyanokoFANTASY

@foka22ok リズム天国思い出すw

DKT @DKTneiro

@foka22ok 色んな最高なMVが出そう…！

マサーシー@MASA-SEE @masashi0509

これ、VJで使えるなと思ったけどｐｃ死ぬな。 twitter.com/foka22ok/statu…

しぐま @45_rabbit_

@foka22ok youtu.be/NkRkuI0ZgX0 …🤔💭

拡大

kunekune @kunekune

サイケ過ぎた twitter.com/foka22ok/statu…

Minoru Fujimoto(藤本実) @bboypopeye

独特の心地良さありますね。 twitter.com/foka22ok/statu…