まるでSFの世界、AIを用いて脳のスキャンデータから実際に見た画像の再生成が可能になったという研究がすごい

やばい研究見つけてしまった。大阪大学の @yu_takagiさんらの研究チームがStable Diffusionを利用してfMRIを使った脳のスキャンデータから被験者が頭の中で想像している画像を再構成して生成することに成功。上が被験者に見せた画像、下がfMRIのシグナルから生成された画像。(続) pic.twitter.com/grAMqUCzSO

2023-03-05 11:03:42

拡大

KAJI | 梶谷健人 @kajikent

SF映画に出てくるような人の脳内の世界を体験できるようになる日も遠くなさそう。論文はこちら。 biorxiv.org/content/10.110…

2023-03-05 11:03:42

あなくろ @analogkenshi

@kajikent つまり、念写ってこと？

2023-03-05 19:59:04

Kap @Kap27998972

@kajikent @yu_takagi 犯罪捜査で犯人像を作成するとかに使われそうな技術ですね

2023-03-05 12:21:52

Pancake1368 @SlowhandAbi

@kajikent @yu_takagi AIの進化が凄いですね！寝てる人の夢を映像化とかできそう

2023-03-05 12:16:14

やぎち @onlylongfanda

@kajikent @yu_takagi 犯罪者に人質の居場所とか質問して連想したらスキャンできたりもするんですかね？色んなところで活かせそうですね

2023-03-05 11:25:23

つるつるもっち、ねこぱんだZ、ぽちゃもんち、ぞろめちゃん、ミニゴリ小地蔵（エーペックス、BF） @zorome_chan

@kajikent @yu_takagi 視覚に障害のある方の助けにもなりそう

2023-03-05 14:28:35

Yu Takagi @yu_takagi

Researcher in Large Language Models @jouhouken Views are my own

yu-takagi.github.io

Yu Takagi @yu_takagi

Happy to share that our paper (w/ @NishimotoShinji) on reconstructing visual experience from human brain activity with Stable Diffusion has been accpeted by #CVPR2023! Project page: sites.google.com/view/stabledif… pic.twitter.com/FevH93CnoV

2023-02-28 19:06:51

拡大

Yu Takagi @yu_takagi

視覚体験をノイズから再構成していく過程はこのようになっており、とても綺麗です pic.twitter.com/U4FPdrKCZB twitter.com/NishimotoShinj…

2023-02-28 20:03:19

Shinji Nishimoto @NishimotoShinji

コンピュータビジョン分野の主要国際会議 #CVPR2023 に論文が採択されました！ (w/ @yu_takagi) ヒト脳活動と画像生成AI (Stable Diffusion, SD)の潜在表現の関係性を示し、 (1) 脳活動からの知覚内容の解読(映像化) (2) SD潜在表現の脳活動からの解釈などを行いました。 sites.google.com/view/stabledif… pic.twitter.com/kvoJxo0KZ1

2023-02-28 19:16:44

Siqi Chen @blader

okay so AI can literally read our minds now. a team from osaka was able to reconstruct visual images from mri scan data using stable diffusion. first row is the image presented to the test subject, second row is the reconstructed image from mri data. wild. pic.twitter.com/AvTakwQinb

2023-03-03 15:34:33

拡大

Jerry Chi @peacej

頭脳MRIから、見られた画像を再現　#stablediffusion twitter.com/danberridge/st…

2023-03-03 18:56:33

deiniolb 🐻👉 aisuite.io @danberridge

I'm speechless. Not peer-reviewed yet but a submitted paper. The 'presented images' were shown to a group of humans. The 'reconstructed images' were the result of an fMRI output to Stable Diffusion. In other words, #stablediffusion literally read people's minds. Source 👇 pic.twitter.com/sne2LhF8wZ

2023-03-03 12:01:40

Shinji Nishimoto @NishimotoShinji

Professor at Osaka University @FBSpr /PI at @cinet_info Systems/Perceptual/Cognitive Neuroscientist Osaka➡️Berkeley➡️Osaka Views are my own

nishimotolab.org

Shinji Nishimoto @NishimotoShinji

コンピュータビジョン分野の主要国際会議 #CVPR2023 に論文が採択されました！ (w/ @yu_takagi) ヒト脳活動と画像生成AI (Stable Diffusion, SD)の潜在表現の関係性を示し、 (1) 脳活動からの知覚内容の解読(映像化) (2) SD潜在表現の脳活動からの解釈などを行いました。 sites.google.com/view/stabledif… pic.twitter.com/kvoJxo0KZ1

2023-02-28 19:16:44

拡大

はこ haco*💉PPMP💉 @rabbitstar

清水玲子さんのSF作品『秘密－トップ・シークレット－』の世界観だな。。 “脳から記憶を映像として再現することが出来、解明不能な事件の真相にさえ繋がる有効な捜査手段であり（中略）捜査を担当する職員たちも、凶悪犯罪に関わる凄惨な映像と日々向き合うことで苦悩し、心を病む者も多い。” twitter.com/kajikent/statu…

2023-03-06 06:10:18