茂木健一郎(@kenichiromogi）さんの連続ツイート第3209回「人間は常に逸脱するということと、AIアラインメント」

茂木健一郎 @kenichiromogi

連続ツイート３２０９回をお届けします。文章はその場で即興で書いています。本日は感想です。

茂木健一郎 @kenichiromogi

私はAIアラインメントにおいてグッドハートの法則（ある基準はそれ自体が目的になるといい基準ではない）に注目しているが、人間というものは小林秀雄が言うように何をやらかすかわからなく、それがAIを超えた部分だと思う。破壊もあるが創造もある。

茂木健一郎 @kenichiromogi

ハチのY字迷路などでのパフォーマンスも、典型的には８割くらいの正答率になるが、２割間違うことで、強化学習におけるexploitationとexplorationのバランスをとっている。これは長い生物の進化の過程で身につけてきた、部分最適からの逸脱の智慧である。

茂木健一郎 @kenichiromogi

AIによってすでになされたものはもはや人間の知性の本質とはみなされないというAI effectは、ゴールポストを動かす行為ではあるが、そこにこそ人間の本質がある。ある基準を最適化するということではとどまらない振る舞いがあるからこそ生物としてロバストになる。

茂木健一郎 @kenichiromogi

高度な知性のふるまいは予想できないというVingean uncertaintyにも、より高次の知性の水準で最適化された軌道がわからないという側面と、disruptiveなanimal spiritsの作用が入り混じっている。それを一般に区別することはできない。

茂木健一郎 @kenichiromogi

ヘルマン・ヘッセの『知と愛』（Narziss und Goldmund )は、以上に述べた知性というものの規範と逸脱という視点から興味深く、AIアラインメントの原理にもつながる問題を扱っているとも言える。

茂木健一郎 @kenichiromogi

以上、連続ツイート３２０９回「人間は常に逸脱するということと、AIアラインメント」をテーマに５つのツイートをお届けしました。