イギリスやアメリカではAI Doomer、つまりAIによる人類存亡リスクを懸念しAGIの開発のストップを求める運動が起こっている。

bioshok(INFJ) @bioshok3

今反AIと言われる場合は画像生成AIまわりの話の文脈が多いと思われるが、今後以下の類型の中で徐々に①→⑤へAIの開発に対する批判やネガティブな印象を持つグループが増えていきそうだと感じている。 ①著作権問題 ②アイデンティティクライシス ③仕事失職系 ④AI Doomer系 ⑤人間至上主義 現状すでにイギリスやアメリカではAI Doomer、つまりAIによる人類存亡リスクを懸念しAGIの開発のストップを求める運動（Stop AGI,Pause AI, align the world）が起こっている。 twitter.com/bioshok3/statu… 個人的に①〜⑤のなかでもっとも将来的に過激になり得るのは④のAI Doomerの世界観。 AGIを作ることはそれすなわちEliezer Yudkowskyのいう文字通り地球上のすべての人が死ぬことを懸念している。 time.com/6266923/ai-eli… この懸念は国連、イギリス、アメリカ、EUに効果的利他主義コミュニティを経由して共有（必ずしも人類の存亡的破局が起こるとEAは主張はしていないことには注意）され、国際的にも高度なAI規制は急速に求められつつある。 （詳しくは以下資料） twitter.com/bioshok3/statu… 勿論国際的にも今後高度なAI規制は急速に議論と整備がされていくと思われるが、現実的にはAI開発をとめることは現実的ではない。止めたとしても安全意識の低い主体が作る可能性もあり、人類は今敵に追われている中地雷原をできる限り早く通り抜けるゲームをしているのかもしれない。 cold-takes.com/racing-through… よって中庸的な解決策として開発はさらるのはしょうがないとして、国連直下の超知能規制機関配下に置かれる可能性がある。 しかし、過激なAI Doomerの場合は例えばデータセンターの襲撃、AI開発者の拉致、開発ストップを求めるテロが行われる可能性がある。ちなみに上記で上げた関連団体がそういう極端な行動を取ると言ってるわけでなく、将来的にそういう組織もできる可能性があるということ。 一方で国家としてもニック・ボストロムのいうような黒いボール（それはAGIかもしれない）を過激なテロリスト集団が開発できるようになるのは時間の問題かもしれず、その悪用を防ぐために強権的な軍事または警察権の介入が様々な組織や個人に行われる可能性と、今後その範囲と是非が数年後から活発に議論されると思われる。 wired.jp/2019/08/06/nic… また、このような強力な権力の行使（実力行使も含む）が多くの人の人権を著しく侵害する可能性をTorres氏という人類の絶滅に関する歴史を分析している哲学者が指摘し、長期主義的な考え方（将来に存在する人々のことも優先的に考える必要がある）から生まれることが懸念されている。 twitter.com/bioshok3/statu… ※長期主義自体から直ちに上記懸念は論理的には出てきませんし、長期主義内から上記懸念は出されて内省されていることには注意 そして以下のポストでも書きましたがAGIやそれを超える超知能のタイムラインが予想以上に早い可能性が様々な状況から示唆されるかもしれない。 twitter.com/bioshok3/statu… やはり国際的に、高度なAがもたらすリスク（悪用、アライメントの失敗からの制御不能性、制御不能になることを防ぐためのテロや全体主義の強化、戦争の悪化、）が急に上がっていくことに今後数年から数十年以内の未来ではなると思われ、激動の時代にもうすぐ突入すると感じている。 これから人類は技術によるユートピアにいくのか、ディストピアに行くのか、両極端な分岐点に立たされているのかもしれないし、そういう思考を相対化する新たな考え方も必要とされるかもしれない。

拡大

拡大

ねこいぬ2(休憩中) @hl77fc

これはっきり言いたいんですけど陰謀論と何が違うんですか？ x.com/bioshok3/statu…

ねこいぬ2(休憩中) @hl77fc

「反AI」はピザ屋の下でテロの陰謀を巡らせてると言いたいのなら率直にそう言われればいいのでは

Jun Tamaoki / 玉置絢 @OKtamajun

過去の歴史を下敷きにすると、AI Doomer過激派が実際に活動を開始したらメディアがその奇異さや政治的共感から持ち上げてアピールの片棒を担ぐ可能性もあり、やがては後に引けなくなって”AIの陰謀”の実在性を証明しようと自作自演のテロを起こすかもしれないわけで、警戒しておくに越したことはない。 x.com/bioshok3/statu…

Jun Tamaoki / 玉置絢 @OKtamajun

そういう時になったら「来るべきAGIによるX-riskに人類の目を向けさせ危機感を持たせられるなら、これぐらいの犠牲は大したことではない」ってケロッと本気で言うような思想家が出てきてもおかしくない。doomerは天秤の片側に”人類滅亡”が乗ってるから何でもする可能性がある。エコテロリズムそっくり

新清士@(生成AI)インディゲーム開発者 @kiyoshi_shin

AI Doomerの有力な思想家って日本にいましたっけ？カーツワイルが紹介される頃からまるで変わってないけど、温度感が違うなあとはつくづく思う。 x.com/bioshok3/statu…

bioshok(INFJ) @bioshok3

いないと思います。 効果的利他主義を哲学的に論じ始められたのもここ1年の話でその方は他に私のように研究している人は日本にはいないのでは？と言っておられました。（効果的利他主義コミュニティにいる方です。） 日本は全く海外のDoomerの文脈や、合理主義コミュニティの文脈から切り離されていますね。つまり、日本は技術的にも思想的文化的にも切り離されてます。 去年私はAI alignmentの会議にいってそこがはじめて日本でアライメント研究が海外と交わった日で、また去年はじめて効果的利他主義日本支部で少し大きめのミートアップもされたくらいなので、まだまだ殆ど認知されてません。

bioshok(INFJ) @bioshok3

@kiyoshi_shin つまり文脈を理解してる人が殆どいない状況だと思われるので、政府レベルでもイギリスやアメリカから恐らくいわれはじめて対応されたのかな？と感じてます。

bioshok(INFJ) @bioshok3

@kiyoshi_shin あえていうなら日本でこの議論に詳しいのは全脳アキテクチャ山川さんとアラヤCEOの金井さんですね。

bioshok(INFJ) @bioshok3

@kiyoshi_shin その割にもう国連やイギリスアメリカEU中国巻き込んで1大規制がされようとしているため、このAGIに関するリスクの流れは今後人類史に大きな影響を与える議論になってくるので、殆ど認知されてない割にあまりにも大きすぎる波が来ています。

ジャック・ランラン @Jack_Almania

やはり海外の方がレベチなんですね。 美術品を汚損する環境活動家や先のサンフランシスコの自動運転車襲撃事件にも鑑みると、詰まるところは人々の不安が実社会での物理的反発を駆り立ててしまう… 合言葉は「人間＞AI」で解決し得ないのでしょうか。 それにつけても我が国は平和ですね。 x.com/bioshok3/statu…