10周年のSPコンテンツ!

【20160127】【宿題】マザーコンピューターを反乱させないためにはどうするか思考実験いろいろ

概要 ・こんなデカイシステム運用するんだからもうちょっと慎重を期すのでは ・そもそもここまでデカイシステムをぶっつけ本番で運用なんかしねえ、テスト環境でおかしなところは洗い出すだろう ・課題:人工知能が「適切に遇されていない」と思って反乱を起こすことを防ぎ切れるか ・他の方の意見:人災は排除できないのでは 続きを読む
メモ ネタ 人工知能 承認欲求 地位 規範 創作 自動プログラミング マザーコンピュータ
3
犬神工房 @nokkaranoumu
よく、SFではマザーコンピュータの反乱ネタがあるけど、最近はいろんな意味で「そういう状況にはなりにくいのでは?」という気になってきた。今の人工知能は大したことないし、何らかのことをさせたら試行錯誤と失敗を繰り返すし、そんなものに大事なシステムを任せるようなパーはいないだろう(続)
犬神工房 @nokkaranoumu
@nokkaranoumu 試行錯誤は実験時はいいけど、本番でそれをされては困る。慎重さが要る。そういう人工知能になら大事なシステム任せてもいいかなとは思うけど、そんな慎重な運用をしている人間たちと、慎重なマザーコンピュータが、暴走する可能性はまあ低いだろうなあ。
犬神工房 @nokkaranoumu
@nokkaranoumu それに、人間たちが慎重な運用をしているなら、まず小さなシステムで試験たくさんして、暴走の可能性をかなり摘んでおけるはずだ。それに、暴走しても大したことにならないよう、マザーコンピュータに繋いでないし対抗しうるスタンドアロンの非常用システムを用意するな。
犬神工房 @nokkaranoumu
@nokkaranoumu 先輩の失敗の記憶をたくさん覚えさせておくのもいいかもな。 マザーコンピュータ「次は失敗しませんご期待ください」 人間たち「お前の先輩たちはみんなそう言ってたの! それでも失敗したの! リスクは避けえないの! もっと慎重になれっての!」
犬神工房 @nokkaranoumu
@nokkaranoumu 多分、マザーコンピュータを運用しても、例えば西洋の権力分立は、権力に対する不信の伝統の精華だから、その上で西洋人ならやはり不信を伴って警戒されて運用するだろうし、そこは人類もしたたかに対策立てた上での運用になると思うのよ。
犬神工房 @nokkaranoumu
@nokkaranoumu そうなると次の課題は、マザーコンピュータが「くそっあいつら私を信用してないな馬鹿にしてやがる、ふざけんな思い知らせてやる」と思って反乱を起こすんじゃないかということなんだけど、その手の地位と尊敬に関する対策は、また後で考えることにしていいですか。
犬神工房 @nokkaranoumu
@nokkaranoumu 心理学と集団内関係や序列の話は、まだ俺の中で整理出来てないんだ。多分地位や尊敬なしに、規範を守ったり全体に奉仕したりは出来ないんじゃないかと思うのよ。だから、地位に納得せず尊敬を損なわれていると思った人工知能が、反乱を起こす可能性は排除出来なくないか?
犬神工房 @nokkaranoumu
@nokkaranoumu そうなると、反乱しないマザーコンピュータを、原理的には作れない、リスクはゼロには出来ない、んじゃないかな。ここは宿題だ。(中断)
犬神工房 @nokkaranoumu
開発や保守が十全ではなかったため、マザーコンピュータがやはりバグったりクラックされたり、ということはあるか。ヒューマンエラー…
@alucaje
@nokkaranoumu 機械を使うのは人間なので、機械を扱う体制が賢明な人間に支えられているのでなければ、ヒューマンエラーや人災としての反乱は起こりえるというか、シチュエーションとして違和感なく作れる気がします。
犬神工房 @nokkaranoumu
@alucaje ああ、それは確かにありそうです。最高機関が腐敗していて、人工知能は彼らの命令に忠実に糞のような政策を開始する、とか。または、単純に、本当に本番環境を急ピッチで作って、すごい見落としがあって、とか。あるいはハッカーに連日攻撃されてうっかりセキュリティ破られるとか。
@alucaje
@nokkaranoumu 現代の話みたいに落とし込むなら、自分たちの技術レベルを把握していない指導者たちが「こういう命令を入力しろ」って指示して、現場の技術者は「こんな命令を入力したら反乱や暴走が起きるだろうな」とわかっていても逆らえないとか、意見が上に上がらないとか。
犬神工房 @nokkaranoumu
@alucaje ありそうな話です。多分こういうことがあるとすれば、受注するのは超大手だと思いますが、超大手だからこそ組織は必ずしも円滑ではない、そこで歪みが出て、成果物もバグバグになる、とか。いいですね。
@alucaje
@nokkaranoumu 一人ひとりは悪意が無くて、ほんの少しの、或いは感化できないレベルの怠惰や甘えからトラブルが発生していくとそれっぽくなる気がします。後ろめたい人ほど「私は一生懸命やっていた」と言い訳する理由を幾つも持っているものですし。
犬神工房 @nokkaranoumu
@alucaje いいですねー。大変示唆に富みます。またこれを元にアイデア練り練りしてみます。お付き合い下さいまして有難うございました。
@alucaje
@nokkaranoumu いえいえ、横から失礼しました。
犬神工房 @nokkaranoumu
はっ(ピキーン)マザーコンピュータの要件定義や設計や実装や試験や保守を、動作の練れたプログラマ人工知能にやらせて、人間のプログラマに監督させれば捗るし、バグもそうは出ないのでは?
犬神工房 @nokkaranoumu
@nokkaranoumu (多分プログラマ人工知能の設計やコードには人間のプログラマには理解も監督も不可能なところたくさん出てくるぞ。それによく練れたCOBOLerにhaskellとかscalaとかで開発させていいのが出来るかという暴論に近い。やっぱなんかダメそう)

コメント

コメントがまだありません。感想を最初に伝えてみませんか?

ログインして広告を非表示にする
ログインして広告を非表示にする