「頭の中で話すことを思い浮かべるだけで、人工知能が読み取ることに成功した」というプレプリント論文が発表される

41
Daichi Konno / 紺野 大地 @_daichikonno

これは凄い研究ですね! 「頭の中で話すことを思い浮かべるだけで、人工知能が読み取ることに成功した」というプレプリント論文。 読み取り精度と速度の両方で、従来をはるかに上回る成績を実現している点が驚きです。 現時点で世界最高のBrain Machine Interfaceです。 biorxiv.org/content/10.110… pic.twitter.com/4FzIIfXlD1

2023-01-24 12:11:05
拡大
拡大
Daichi Konno / 紺野 大地 @_daichikonno

個人的にとても注目しているのは図4です。 図4bでは電極数が増えるほど、図4cではモデルのトレーニングに用いられるデータセットが大きいほどエラー率が低下することが示されており、BMI研究における"Scaling law"とも言えるかもしれません。 この辺り、次号のBrainTech Reviewで詳しく解説します! pic.twitter.com/Ai5IjLvZQd

2023-01-24 12:12:01
拡大
Daichi Konno / 紺野 大地 @_daichikonno

この研究グループは2年弱前にも素晴らしい性能のBMIを提唱していて、その続報となります。 前報は「文字を書く」ことを頭の中で思い浮かべましたが、この研究は「言葉を話す」ことを思い浮かべ、そこから人工知能で読み取っていますnote.com/daichi_konno/n…

2023-01-24 12:13:19
Daichi Konno / 紺野 大地 @_daichikonno

実際の動画はこちら。 twitter.com/WillettNeuro/s…

2023-01-24 12:14:22
Frank Willett @WillettNeuro

In this video, our participant tries to say the sentences shown at the top of the screen, but paralysis prevents her from producing understandable speech. Our brain-computer interface deciphers her neural activity and converts it into her intended message, shown at the bottom. pic.twitter.com/D2ep6mQjTn

2023-01-23 04:39:33
Daichi Konno / 紺野 大地 @_daichikonno

こちら神谷先生からご指摘いただきました。 神谷先生、いつもありがとうございます🙇 twitter.com/ykamit/status/…

2023-01-24 13:39:12
Yuki Kamitani @ykamit

すごい研究ではあるのですが「思い浮かべるだけ」はミスリーディングかも。声を出そうとして(聞き取れないけど)声は出てるので。「サイレントスピーチ」も、この分野では、心の中でつぶやくことではなくて、声を出さずに口を動かすこと(口パク) twitter.com/_daichikonno/s…

2023-01-24 13:32:38

感想

Mmの憂鬱 @miyatamitsuru

本当なら、びっくりするような成果です。 twitter.com/_daichikonno/s…

2023-02-02 13:47:30
白い人 @rohani2hoh

@_daichikonno この調子だと 寝ているときの夢もいけそうですね 期待してます

2023-01-24 21:15:42
@mikenekoblue

@_daichikonno 結末のわかってるセリフを言い終わるのを待つのは暇ですもんね。

2023-01-24 15:10:32
nickname @JNickname

@_daichikonno スタンフォード大学系の研究者の人達かな。センシングの方式に興味がある。

2023-01-24 14:21:20
Garnet @01Garnet02

@_daichikonno フルダイブ型のゲームはよ

2023-01-24 22:15:31
カピバラ社畜 @SyatikuCapibara

@_daichikonno これは…この研究が進めば実は下心があるって脳波でわかっちゃうね!

2023-01-24 16:26:28
ナラsacrificial💉×2済 @niconicosacri

何らかの要因で声帯を失った人や、吃音症などでスムーズな会話ができない人にとってはいい感じかもしれない 応用して他言語変換で通訳補助とか、読み取り精度と深度次第だけど噓発見器なんかにも使えそう twitter.com/_daichikonno/s…

2023-01-25 02:38:35
吉祥寺いるか🌈🇺🇦🇷🇺 @iruka_hamonika

@_daichikonno @Kontan_Bigcat うっかり変なことを思い浮かべると読み取られてしまう。

2023-01-25 14:47:17
← Lourdes @hilow49484331

@_daichikonno この報告は大脳表面に電極を設定していますが、少し前にはStentrodeを使った単語入力も報告されています。今後は、それら分析結果を利用した侵襲性の低いBMIの開発も進んで欲しいですね。

2023-01-24 15:49:59
河野 健一 世界初の脳手術支援AI開発 CEO 脳外科医 @CeoImed

凄い!!! 頭の中でしゃべるとそれが画面に表示され、スピーカーから声が出る! (ブレイン・マシン・インターフェース) 色々な可能性がありますね ・ 喉頭癌などで手術した患者さんの人工声帯の代わり ・ 音声入力ならぬ「脳内入力」!? 是非試してみたい! twitter.com/_daichikonno/s… pic.twitter.com/ukqikmjv4x

2023-01-24 13:15:05
拡大
T. M໐ri @valdzone

BMI と ChatGPT をつなげると何ができるだろう? BMI はまだ read only だけど、write できるようになると怖い世界が来るなぁ 例えば、三体で言うところの「精神印章」のようなことが実現できてしまう そして write できる状態で ChatGPT をつなげば、拡張された脳になる twitter.com/_daichikonno/s…

2023-01-24 19:21:40

懸念点など

Yuki Kamitani @ykamit

すごい研究ではあるのですが「思い浮かべるだけ」はミスリーディングかも。声を出そうとして(聞き取れないけど)声は出てるので。「サイレントスピーチ」も、この分野では、心の中でつぶやくことではなくて、声を出さずに口を動かすこと(口パク) twitter.com/_daichikonno/s…

2023-01-24 13:32:38
Daichi Konno / 紺野 大地 @_daichikonno

@ykamit ご指摘ありがとうございます。 元ツイートのスレッドに追記いたしました🙇

2023-01-24 13:39:32
智のGPS "The GPS of the Wisdom" @xzruLnOPQuxlse6

@_daichikonno 最近の大規模言語モデル(例、ChatGPT)のように、将来は『大規模脳波モデル』が出て来て、それが中間コードのような役割を果たしてBMIを介した人間同士のブレイン・コミュニケーションが実現するようになるだろう。但し、その構成要件としては個人毎の大量の個別特性データセットの学習が必要かも。

2023-01-25 06:33:20
Yuta Matsumoto @YutaMatsu_0328

直観的には「思い浮かべる」ってかなり個人差が大きいような気がするけどそんなことはなく同じパラメーターで実現できるのかな twitter.com/_daichikonno/s…

2023-01-25 11:24:30
Kyosuke Nishida @kyoun

脳活動から文へのdecoding部分は,(1) 5層のGRUで256次元ベクトルの系列を音素列に変換 (2) 3-gram LMで2段階でn-bestの文に変換(word lattice→sentence) (3) LLM(OPT-6.7B!)を使ってrescoring の流れでした.図2dの例が面白い!最後の言語モデルでどれぐらい結果が変わるのか気になりますね. twitter.com/_daichikonno/s… pic.twitter.com/ANhZG5abbH

2023-01-25 11:11:56
拡大
Nochi(ドウスル?▮) @shikarunochi

「頭の中で思い浮かべたことを出力する」ってやつ、実現したらスゴイのだけど、書いたり話したりするとき、頭の中に明確な文章を思い浮かべてるわけじゃないと思うのですよね。 頭の中では、いろんなことが並列に思い浮かんでいて、手とか口とかを通して外界に出るときに形を取る感じ…。 twitter.com/_daichikonno/s…

2023-01-24 16:32:45