-
atomgn2911
- 140905
- 638
- 684
- 858
-
- いいね！858
Takuya Kitagawa/北川拓也
@takuyakitagawa
近年のAIの進化は実は理解されていない。 ChatGPTを筆頭に、信じられないレベルでAIが進化している。 そう、本当に信じられないレベルなのは、なぜAIがこんなにも「急激に」質が良くなったかを、誰も説明できないからだ。 おそらく発明した研究者本人たちですら。 どういうことか。 1/n
2023-01-29 10:51:36
Takuya Kitagawa/北川拓也
@takuyakitagawa
AIの精度を定量化したとき、数年前までは研究の進化と共に、少しずつ精度があがっていった。 研究の進化とは 1. モデルやアルゴリズムの進化 2. 計算量の増加 3. データ量の増加 などだ。１０年ほど前にAIがもてはやされた時は、Deep Learningといったモデルの進化が重要だった。 2/n
2023-01-29 10:51:36
Takuya Kitagawa/北川拓也
@takuyakitagawa
反面、計算量やデータ量の増加によって、「驚くべき」進化があるとは誰も思っていなかった。 計算量を倍、倍としていけば、それに応じて精度がちょっとずつ上がっていく、と想定したからだ。そこには驚きはないはず。 今までの論文ではそうだった。むしろ量の増加による精度改善は飽和していた 3/n
2023-01-29 10:51:37
Takuya Kitagawa/北川拓也
@takuyakitagawa
ところがこの数年で研究者はびっくりする結果を目にする。 なんと、計算量やデータ量を増やしたところ、 完全に飽和していたと思われた精度が、ある量を境に、急激に改善したのだ。 下記の図の横軸が計算量、縦軸が精度だ。 まじか、とみんな思った。 4/n pic.twitter.com/V51NVCDBWf
2023-01-29 10:51:39
拡大
Takuya Kitagawa/北川拓也
@takuyakitagawa
上記のグラフは、複数ステップの計算、大学レベルの試験、文脈の言葉の意味を読み取る精度だ この急激なAIの進化は他のところでも観測されており、 例えば「質問の仕方を変えればAIのアウトプットが圧倒的によくなる」という現象も、ある一定の計算量がなければ起こらない 5/n pic.twitter.com/Z2XfPL3gLf
2023-01-29 10:51:40
拡大
Takuya Kitagawa/北川拓也
@takuyakitagawa
この現象は実はいまだに理解されていない。 なぜこんな転換点が存在するのか。 実は人類がこのような現象に出会ったのは初めてではない。 これこそが物理学においてこの１００年間研究されてきた「相転移」という現象なのだ。 6/n
2023-01-29 10:51:41
Takuya Kitagawa/北川拓也
@takuyakitagawa
昔に、物理学者は還元主義を信じ、 「世界の最小単位のものの振る舞いを理解すれば、世界の全てを理解できるはず」 と思っていた時代があった。 これをPhilip Andersonという稀代の物理学者が More is Different （量が質を変える） という論文でパラダイムシフトを起こした 7/n
2023-01-29 10:51:42
Takuya Kitagawa/北川拓也
@takuyakitagawa
端的にいえば、原子が１個２個と増えたところで物理が変わるわけがない、と思われてたところに いや、１個の原子では水が氷になる、という現象はおこらないが、10の23乗の原子があれば、水は氷になる と論じた。今では、この世界の物質の最も本質的な理解は相転移にある、と受け入れられている 8/n
2023-01-29 10:51:42
Takuya Kitagawa/北川拓也
@takuyakitagawa
物理の場合、この量が質を変える「相転移」を理解することが 半導体や量子コンピューターを産むことにつながり この１００年間の科学技術の進化を支えた。 Philip Andersonはこの哲学は、物理から化学へ、化学から生物へ、生物から社会学へと移行する時にも当てはまるのではないか、とも考えた 9/n
2023-01-29 10:51:43
Takuya Kitagawa/北川拓也
@takuyakitagawa
AIに戻ると、 去年はComputer scienceの領域で、AIの学習で量が質を変える現象が「発見」された年だった。 今年からはこの現象を説明し、より加速度的にAIが進化する時代に突入する。 第１次、２次産業革命が各種ノーベル物理・化学賞の仕事に支えられたとすれば、それがまたやってくる 10/n
2023-01-29 10:51:43
Takuya Kitagawa/北川拓也
@takuyakitagawa
今成果を出しているAI研究者は物理で言えば実験科学者に近い。 これからはより深い理論構築ができるAI研究者がどんどん出てくる。 興奮の渦だ。 11/n
2023-01-29 10:51:44
Takuya Kitagawa/北川拓也
@takuyakitagawa
上記の現象についてはGoogle researchのブログに詳しいので是非読んでみてほしい。12/n ai.googleblog.com/2022/11/charac…
2023-01-29 10:51:44
Takuya Kitagawa/北川拓也
@takuyakitagawa
また、Philip AndersonのMore is differentも、原論文が読みやすいので、この伝説的な文章も原文から是非読んでほしい 13/n cse-robotics.engr.tamu.edu/dshell/cs689/p…
2023-01-29 10:51:45
Takuya Kitagawa/北川拓也
@takuyakitagawa
ちなみにMore is differentについては私がICCで解説したものもあるので、興味ある人は是非。14/n industry-co-creation.com/lifestyle/70403
2023-01-29 10:51:45
Takuya Kitagawa/北川拓也
@takuyakitagawa
量子コンピューターを作るQuEra computing のPresident。過去に楽天グループChief Data Officer としてAI/データの責任者と研究所の所長を兼任。元理論物理学者。公益財団法人 Well-being For Planet Earth理事。@0xtakuya in English.
北川 拓也,DIAMONDハーバード・ビジネス・レビュー編集部
これは面白い
Daigo Fujiwara
@AcdFendder
やってる身でもChatGPTとStable Diffusionあたりは異常だと感じるな twitter.com/takuyakitagawa…
2023-01-29 13:12:36
Koichi F.
@fujibee
日本でも屈指のAI専門家、北川さんの現在のAI進化状況について。この辺りに興味ある方は必読！ twitter.com/takuyakitagawa…
2023-01-29 13:16:52