ChatGPTを筆頭に信じられないレベルでAIが進化しているが「なぜAIがこんなにも『急激に』質が良くなったかを」を研究者本人たちですら説明できない

不思議な話だ
617
Takuya Kitagawa/北川拓也 @takuyakitagawa

近年のAIの進化は実は理解されていない。 ChatGPTを筆頭に、信じられないレベルでAIが進化している。 そう、本当に信じられないレベルなのは、なぜAIがこんなにも「急激に」質が良くなったかを、誰も説明できないからだ。 おそらく発明した研究者本人たちですら。 どういうことか。 1/n

2023-01-29 10:51:36
Takuya Kitagawa/北川拓也 @takuyakitagawa

AIの精度を定量化したとき、数年前までは研究の進化と共に、少しずつ精度があがっていった。 研究の進化とは 1. モデルやアルゴリズムの進化 2. 計算量の増加 3. データ量の増加 などだ。10年ほど前にAIがもてはやされた時は、Deep Learningといったモデルの進化が重要だった。 2/n

2023-01-29 10:51:36
Takuya Kitagawa/北川拓也 @takuyakitagawa

反面、計算量やデータ量の増加によって、「驚くべき」進化があるとは誰も思っていなかった。 計算量を倍、倍としていけば、それに応じて精度がちょっとずつ上がっていく、と想定したからだ。そこには驚きはないはず。 今までの論文ではそうだった。むしろ量の増加による精度改善は飽和していた 3/n

2023-01-29 10:51:37
Takuya Kitagawa/北川拓也 @takuyakitagawa

ところがこの数年で研究者はびっくりする結果を目にする。 なんと、計算量やデータ量を増やしたところ、 完全に飽和していたと思われた精度が、ある量を境に、急激に改善したのだ。 下記の図の横軸が計算量、縦軸が精度だ。 まじか、とみんな思った。 4/n pic.twitter.com/V51NVCDBWf

2023-01-29 10:51:39
拡大
Takuya Kitagawa/北川拓也 @takuyakitagawa

上記のグラフは、複数ステップの計算、大学レベルの試験、文脈の言葉の意味を読み取る精度だ この急激なAIの進化は他のところでも観測されており、 例えば「質問の仕方を変えればAIのアウトプットが圧倒的によくなる」という現象も、ある一定の計算量がなければ起こらない 5/n pic.twitter.com/Z2XfPL3gLf

2023-01-29 10:51:40
拡大
Takuya Kitagawa/北川拓也 @takuyakitagawa

この現象は実はいまだに理解されていない。 なぜこんな転換点が存在するのか。 実は人類がこのような現象に出会ったのは初めてではない。 これこそが物理学においてこの100年間研究されてきた「相転移」という現象なのだ。 6/n

2023-01-29 10:51:41
Takuya Kitagawa/北川拓也 @takuyakitagawa

昔に、物理学者は還元主義を信じ、 「世界の最小単位のものの振る舞いを理解すれば、世界の全てを理解できるはず」 と思っていた時代があった。 これをPhilip Andersonという稀代の物理学者が More is Different (量が質を変える) という論文でパラダイムシフトを起こした 7/n

2023-01-29 10:51:42
Takuya Kitagawa/北川拓也 @takuyakitagawa

端的にいえば、原子が1個2個と増えたところで物理が変わるわけがない、と思われてたところに いや、1個の原子では水が氷になる、という現象はおこらないが、10の23乗の原子があれば、水は氷になる と論じた。今では、この世界の物質の最も本質的な理解は相転移にある、と受け入れられている 8/n

2023-01-29 10:51:42
Takuya Kitagawa/北川拓也 @takuyakitagawa

物理の場合、この量が質を変える「相転移」を理解することが 半導体や量子コンピューターを産むことにつながり この100年間の科学技術の進化を支えた。 Philip Andersonはこの哲学は、物理から化学へ、化学から生物へ、生物から社会学へと移行する時にも当てはまるのではないか、とも考えた 9/n

2023-01-29 10:51:43
Takuya Kitagawa/北川拓也 @takuyakitagawa

AIに戻ると、 去年はComputer scienceの領域で、AIの学習で量が質を変える現象が「発見」された年だった。 今年からはこの現象を説明し、より加速度的にAIが進化する時代に突入する。 第1次、2次産業革命が各種ノーベル物理・化学賞の仕事に支えられたとすれば、それがまたやってくる 10/n

2023-01-29 10:51:43
Takuya Kitagawa/北川拓也 @takuyakitagawa

今成果を出しているAI研究者は物理で言えば実験科学者に近い。 これからはより深い理論構築ができるAI研究者がどんどん出てくる。 興奮の渦だ。 11/n

2023-01-29 10:51:44
Takuya Kitagawa/北川拓也 @takuyakitagawa

上記の現象についてはGoogle researchのブログに詳しいので是非読んでみてほしい。12/n ai.googleblog.com/2022/11/charac…

2023-01-29 10:51:44
Takuya Kitagawa/北川拓也 @takuyakitagawa

また、Philip AndersonのMore is differentも、原論文が読みやすいので、この伝説的な文章も原文から是非読んでほしい 13/n cse-robotics.engr.tamu.edu/dshell/cs689/p…

2023-01-29 10:51:45
Takuya Kitagawa/北川拓也 @takuyakitagawa

ちなみにMore is differentについては私がICCで解説したものもあるので、興味ある人は是非。14/n industry-co-creation.com/lifestyle/70403

2023-01-29 10:51:45
Takuya Kitagawa/北川拓也 @takuyakitagawa

Centiv CEO. 公益財団法人 Well-being For Planet Earth理事。過去に楽天グループChief Data Officer としてAI/データの責任者と研究所の所長を兼任。元理論物理学者。@0xtakuya in English.

linkedin.com/in/takuya-kita…

これは面白い

Daigo Fujiwara @AcdFendder

やってる身でもChatGPTとStable Diffusionあたりは異常だと感じるな twitter.com/takuyakitagawa…

2023-01-29 13:12:36
G @ggggg_15

なんだか知らんが凄そう!! 近未来SF感があってヨシ! twitter.com/takuyakitagawa…

2023-01-29 14:34:52
Koichi F. @fujibee

日本でも屈指のAI専門家、北川さんの現在のAI進化状況について。この辺りに興味ある方は必読! twitter.com/takuyakitagawa…

2023-01-29 13:16:52

AIも量が大事?