ChatGPTの頭のなか，一体どうなってんの？:追記
-
NikkeiScience
- 7068
- 23
- 20
- 0
-
- いいね！0
日経サイエンス
@NikkeiScience
📗3月25日発売！ 日経サイエンス2023年5月号 🤖特集：話すAI 描くAI 【特別解説：数学の数学「圏論」の世界】 ・クール・コンピューター 熱くならない計算機を作る amazon.co.jp/dp/B0BXQ2HMQ5/ #科学 #AI pic.twitter.com/eOWrqo8fw2
2023-03-18 12:00:01
拡大
わらび
@inu__warabi
扱ってるやつが完璧すぎるんだが？ ChatGPT、圏論、熱くならないコンピュータ…全部興味ある！買うしかない！ twitter.com/nikkeiscience/…
2023-03-21 10:59:48
Hitomi Yanaka (谷中 瞳)
@verypluming
日経サイエンス2023年5月号の特集記事「話すAI 描くAI #ChatGPT の頭のなかをのぞき見る」で取材いただきました。ChatGPTを含む大規模言語モデルの中で何が起こっているのかを解明するためのNLPの研究手法のひとつ：プロービング（probing）の研究動向を解説しています。ぜひご覧下さい！ twitter.com/NikkeiScience/…
2023-03-20 18:36:31
日経サイエンス
日経サイエンス2023年5月号【特集：話すAI 描くAI】
人間と自然に対話できるChatGPTに，文章からイラストを描くStable Diffusion。現在話題になっているこれらのAIの心臓部といえるのが「大規模言語モデル」と呼ばれるAI技術だ。
大規模言語モデルは世界中の人々が過去にインターネット上に書き込んだ大量のテキストを読み込み，そこから自力で言語表現や知識を獲得する。
どうやら言語モデルは，数学の計算方法や他人の心情の把握など，「学びなさい」と命令されていない能力まで何らかの形で獲得しているようだ。
言語モデルの内部で何が起きているのか，いまAIの内部を探る研究が盛んになっている。
これからの社会を大きく変えうるAI技術をうまく使いこなすには，大規模言語モデルの「頭のなか」をもっと深く理解する必要がある。
Demura Masaaki
@DemuraMasaaki
「ChatGPTの頭のなか，一体どうなってんの？」という記事を書きました！ ChatGPT，最初に知った時は「すごいAIがあるなあー」と思うだけだったのですが，いざ取材を始めて見るとサイエンスとしても非常に興味深い現象がAI内部で起きていることがわかってきて，ガンガン面白くなってきました。 twitter.com/nikkei/status/…
2023-03-24 10:25:17
日本経済新聞 電子版（日経電子版）
@nikkei
ChatGPTは大規模言語モデルのAI。このAIは論理的な思考を組み合わせるのが苦手ですが、ある「呪文」を問題文の最後に付け加えると、正答率が上昇。呪文がAIの思考の連鎖を促すためだといいます。（無料記事です） s.nikkei.com/3TD2gNY pic.twitter.com/nItuNkOmTo
2023-03-24 07:50:06
Demura Masaaki
@DemuraMasaaki
ChatGPT，この記事にあるように算数の問題を解くこともできます。「そんなの当たり前！コンピューターやろ？」と思うかもしれないですが，大規模言語モデルはただひたすらに大量のテキストから単語と単語の関係性を学んでいるだけなので，本来数学を学ぶようにはできていません。
2023-03-24 10:29:56
Demura Masaaki
@DemuraMasaaki
なのに現実としては解けている。ではAIの内部にどんな風に算数や数学の知識が獲得されているんだろう？という話になってくるわけですね。この話は25日に発売される日経サイエンス5月号にたっぷり書きましたので，ぜひお読み頂ければと。 amzn.asia/d/2ZevbZN
2023-03-24 10:39:53
ChatGPTを賢くする呪文をやってみた（追記）
三谷 純 Jun MITANI
@jmitani
この問題、正解は36なのだけど、そのままでは回答できなかった Chat GPT-4に対して、ChatGPTを賢くする呪文「一歩ずつ考えよう」を付けたら、本当に正答できるようになった。すごい。不思議。 ChatGPTを賢くする呪文 - 日本経済新聞 nikkei.com/article/DGXZQO… pic.twitter.com/kZvUQqg8Su twitter.com/jmitani/status…
2023-03-25 13:23:23
三谷 純 Jun MITANI
@jmitani
今日の息子（小３）との会話をもとに、 画像のような算数の問題を作って息子に出してみた。 問題：次の親子の会話から、最初にイチゴがいくつあったか推理してみよう。 pic.twitter.com/02t40uwwjK
2023-03-19 18:31:39
拡大
拡大
三谷 純 Jun MITANI
@jmitani
筑波大学 システム情報系 教授（'75生）CG/折紙/幾何/プログラミング，一風変わった折り紙の設計，制作をしてます．令和元年度文化庁文化交流使としてアジア諸国をまわってきました．主に数学と折紙と日常のことについてツイートします．折紙作品の写真をこちらで公開しています instagram.com/mitani.jun/
Demura Masaaki
@DemuraMasaaki
すごく興味深いです。元の論文でInstructGPT-3が賢くなる呪文とされている言葉は英語の「Let's think step by step」ですが、Chat GPT-4に対して日本語の「一歩ずつ考えよう」が効くということは、特定の言語モデルや言語の種類によらず、大規模言語モデルの内部で似た変化が起きるんでしょうね。 twitter.com/jmitani/status…
2023-03-25 20:17:14
Demura Masaaki
@DemuraMasaaki
「ChatGPTを賢くする呪文」（ nikkei.com/article/DGXZQO… ←ログインなしで読めます）は，日経サイエンス5月号のChatGPT特集で私が書いた記事をダイジェスト版にまとめたものです。読んで下さった方の感想をツイッターで見ていると「人にもあてはまる」という感想が多いです。私が取材をした時もまさに→ pic.twitter.com/hzJnklpuxG
2023-03-25 21:43:10
拡大
Demura Masaaki
@DemuraMasaaki
→同じことを思いました。もちろんAIと人の脳の仕組みは全く異なるのですが，思考という「大量の情報をもとに，入力に応じて適切な出力を行う情報処理」の大まかなルールがAIの中身の分析で逆に見えてくるなら，それって人の脳の働きを理解する上で大きな助けになるんじゃないの？と思います。→
2023-03-25 21:46:55
Demura Masaaki
@DemuraMasaaki
→でも一方で，ChatGPTのような大規模言語モデルと，人の脳の機能には幾つも大きな違いがあって，その1つが推論能力です。45テラバイトものテキストを学んだGPT-3が推論を苦手とする一方で，どう考えてもそんな量の読書をしていないはずの人間には推論ができる。これもすごく不思議です。→
2023-03-25 21:49:22
Demura Masaaki
@DemuraMasaaki
→5月号にはChatGPT特集の他に数学の「圏論」の解説記事も掲載しています。人の脳がここまで抽象的な理論に到達できるのは何故なんだろう，という観点で読むと，また違った楽しさや発見が生まれるかも。ぜひ5月号を読んで下さると嬉しいです！読まれた方の感想を聞きたい…！ nikkei-science.com/page/magazine/…
2023-03-25 21:52:022023年5月号の特別解説【数学の「数学」圏論の世界】もお見逃し無く。
数学の数学「圏論」の世界
数学を俯瞰するツールを与えてくれる「圏論」。
数学者は圏論を無限次元に拡張することによって，洗練された数学的概念の間の新しいつながりを発見している。
3月25日発売日経サイエンスの記事をのご紹介です。
5429 pv
30
15
1970年代に提唱された熱を出さない可逆計算のアイデアを，現代の超電導量子コンピューターの素子を使って実装する試みなど，他にも盛り沢山でお届けします。
▼2023年5月号の詳しい内容はこちらから！