茂木健一郎(@kenichiromogi）さんの連続ツイート第3211回「予定調和ではないAIアラインメントと、AI safety」

茂木健一郎 @kenichiromogi

連続ツイート３２１１回をお届けします。文章はその場で即興で書いています。本日は感想です。

茂木健一郎 @kenichiromogi

AIアラインメントを池上高志さん @alltbl と議論しているときにいつも大切にしているのは、「予定調和ではない」ということで、これはGoodhart's lawとも関連するし、そもそも生物の動きを進化の時系列で見ていくと明らかなことだと思う。

茂木健一郎 @kenichiromogi

東浩紀さん @hazuma が『訂正可能性の哲学』で議論していた問題群とも関連することだが、生物というのは、そもそも、アラインメントに失敗する可能性を許容するような振る舞いをしないと発展性がないし、ロバストではないし、進化可能性（evolvability）も生まれない。

茂木健一郎 @kenichiromogi

強化学習においても、最適化してサチってしまう軌跡では文脈を超えられないし、環境の変化に対してもロバストではない。ミツバチのY字路学習などに典型的に見られる８割の正解、２割の不正解のようなバランスが、AIアラインメントにおいても重要である。

茂木健一郎 @kenichiromogi

このような、間違うことを許容するAIアラインメントの原理が、AI safetyやExistential riskの文脈でどのようにとらえられるは針の穴を通すような難しい論点だと思う。だからこそ、Eliezer Yudkowsky @ESYudkowsky　は固定ツイートで「Safely aligning a powerful AGI is difficult.」と書いている。

茂木健一郎 @kenichiromogi

以上、連続ツイート３２１１回「予定調和ではないAIアラインメントと、AI safety」をテーマに４つのツイートをお届けしました。