ChatGPTは二次方程式が解けるのに，足し算ができない？

出村政彬 Masaaki Demura @DemuraMasaaki

ChatGPTは2次方程式や確率の問題に正解できる一方で足し算の繰り上がり操作をしないなど，「中途半端」に数学を解きます。解法がでたらめで答えだけ合うことも。どう中途半端なのか，こちらのYoutubeにもまとめてみました。 youtu.be/h7JbssQC3Xk

拡大

出村政彬 Masaaki Demura @DemuraMasaaki

特集では足し算をするAIが一体何を習得しているのかを探ると同時に，「数学の認知神経科学」を通じて足し算をする人間の頭のなかを探ります。一見すると全く異なる仕組みで動いていそうなこの「2種類の脳」に，意外な共通点があることがわかってきました。

出村政彬 Masaaki Demura @DemuraMasaaki

今回の取材で「数学の認知神経科学」という分野があることをはじめて知りました。 私たちの脳はどう数学を学ぶのか。脳はどのように数学を解くのか。それは，ヒトにしかない脳機能の解明を通じて「ヒトらしさ」とは何かを探る試みでもあります。 twitter.com/TomNakai/statu…

Tomoya Nakai 中井智也 @TomNakai

日経サイエンス「特集：数学する脳とAI」にて、アラヤ金井さん@kanair_jp、藤澤さん@ifuiaa の研究とともに、私の数学の認知神経科学研究を紹介していただきました。 ChatGPTを題材に、AIとヒトの数学処理はどのような点で似ている/異なるのかという話をしています。 nikkei-science.com/page/magazine/…

2023-06-27 06:58:08

出村政彬 Masaaki Demura @DemuraMasaaki

ヒトの脳機能を探る研究はこの10年あまりで大きく進展しました。その原動力は深層学習などのAIの存在です。優れたAIはヒトの脳の仕組みを映し出す鏡となります。Transformerや大規模言語モデルを道具とすることで，今後，私たちの脳の働きにもっと迫ることができそうです。nikkei-science.com/202308_028.html

日経サイエンス @NikkeiScience

2023年8月号の特集【数学する脳とAI】 日経サイエンスの『パズルの国のアリス』はChatGPTはどれくらい解けるのかな…？と6月号の問題を流し込んでみたら，しっかりと間違えてくれました😂 「最長のスタンプラリー・ルートを探せ！」 nikkei-science.com/page/magazine/… pic.twitter.com/4Y1U7K8PUZ

拡大

縞うさぎ／詫摩雅子 @shima_usa96

@NikkeiScience @shigenokura 面白い間違え方をするなぁ。最短が3.8kmというのはあっているのだけれど……。最長が最短よりも短くなっていることに気がつかないっていうのが面白い。

日経サイエンス @NikkeiScience

@shima_usa96 @shigenokura ドヤって最短と最長を間違えていますし，まだ小数点の計算も苦手なようです。 最後の文章題だけ読んでるようですし。今編集長がちょっと面白い実験？しています。

出村政彬 Masaaki Demura @DemuraMasaaki

ChatGPT(GPT-3.5)に10ケタの足し算100題を出してみたら興味深い結果に。 ・答えが11ケタになると解けない傾向がある ・計算結果をケタ別に見て，下から5ケタ目と8ケタ目に間違いが集中…… いったい何なんでしょう，これ。すごく面白い （図は計算の正否を青，ケタ別に見た数の正否を水色で着色） pic.twitter.com/6YPZ8LILZb

拡大

拡大

出村政彬 Masaaki Demura @DemuraMasaaki

答えが10ケタだと計算がうまくいくのに11ケタになると途端に間違う，という話は最新号の記事「ChatGPTが映し出すヒトの知性」の話とちょっと似ている。 pic.twitter.com/GMg1LQlfq1

拡大

出村政彬 Masaaki Demura @DemuraMasaaki

（ちなみに今回はこんな感じで100題を一度に解かせたので，厳密性を期すなら1題ずつ解かせた方が良さそう） pic.twitter.com/EupdlgfIKO

拡大

出村政彬 Masaaki Demura @DemuraMasaaki

同じ方法でGPT-4でも計算させてみた。結果が全然違う。 途中までは11ケタの計算にも対応できていて，5ケタ目と8ケタ目だけミスるGPT-3.5の変なクセも解消されているっぽい。後半は全く計算が合わなくなってしまったのがまた謎なのだけど。。 pic.twitter.com/bglw2lExE1

拡大

出村政彬 Masaaki Demura @DemuraMasaaki

ちなみに8月号で大規模言語モデルやTransformerに足し算を解かせる話を詳しく取り上げているので，ぜひこちらもご覧頂ければと。 amzn.asia/d/7yZWFWO

出村政彬 Masaaki Demura @DemuraMasaaki

足し算の話の部分をちょっとちら見せ。 pic.twitter.com/uaWDrdJdYY

拡大

出村政彬 Masaaki Demura @DemuraMasaaki

ChatGPTを使うと勝手に会話の題名がつきますが，昨日の10ケタ足し算をやらせた時の会話にこんな題名がついていることに今気付きました。 Addition calculations in 4 words 4単語？　1つの数を複数の単語の組み合わせとして認識してるのでしょうか。5,8ケタ目に間違いが集中するのと関係がありそう？ twitter.com/DemuraMasaaki/…