AIの認識をだませる『敵対的機械学習』の話がもうSFの世界「人間には同じ画像に見えるのに」

特定外来宇宙人です。

攻撃的機械学習 Adversarial Machine Learning (AML)なんて用語が出来ていたのか。そしてAMLに対抗すべくCounter-AML AIが導入されているという。「敵は海賊」の世界はもう現実になっていたんだな。

2020-12-05 03:51:06

リンク Wikipedia Adversarial machine learning Adversarial machine learning is a machine learning technique that attempts to fool models by supplying deceptive input. The most common reason is to cause a malfunction in a machine learning model. Most machine learning techniques were designed to work on 1 user 62

ウチューじん・ささき @uchujin17

AMLの一例。人間の目には左も右も同じパンダの画像に見えるけれど、右の画像には人間の視覚では認識しづらい恣意的なノイズが重ねられていて、無防備なAIはノイズ上の情報に誘導されて「gibbon(テナガザル)です(キリッ)」と断言してしまっている。このノイズパターンを作り出すのがAML。 pic.twitter.com/geIc3aRePN

2020-12-05 03:56:33

拡大

ウチューじん・ささき @uchujin17

類似の例。「あなたはヤギね！」ならぬ、スクールバスもピラミッドもカマキリも「あなたはダチョウね！」と誤認識させるAML攻撃の例。 pic.twitter.com/rQDt9YEEbL

2020-12-05 03:58:27

拡大

ウチューじん・ささき @uchujin17

これだけだと「へー、こんなのでAIって騙されるんだ使い物にならないじゃん」とか「この程度の誤認識が何だっていうの？」という極論になりそうで、具体的にこれがどういう脅威になるのかはわかりにくい。たぶん僕も完全には理解していない。

2020-12-05 04:01:42

ウチューじん・ささき @uchujin17

例えば顔面認証に使う写真をデジタル画像で提出して、それが登録される過程で誰かが他人の顔をAMLでインポーズしていたら？AIの応用が広がるほどにそういう危険は増えてゆく。しかも厄介なことに、AMLは人間による検証がとても難しい。

2020-12-05 04:04:23

ウチューじん・ささき @uchujin17

なのでAMLに対抗するのもマシンラーニングAIということになって、しかしそのMLがAMLに汚染されていないことは誰がどうやって検証するんだという、古典SFみたいな話が現実になっている。たーのしー！これが21世紀だぜ！

2020-12-05 04:06:35

ウチューじん・ささき @uchujin17

「敵は海賊」では、海賊船カーリー・ドゥルガーが軍艦として建造されたとき、艦内システム各所に「一見無意味な冗長コード」を仕込んで、あるトリガーを与えられると海賊船として覚醒するという設定が与えられていた。海賊・匋冥はスーパーコンピュータを駆使して脆弱性を仕込んだと語る。

2020-12-05 04:24:02

ウチューじん・ささき @uchujin17

「敵は海賊」上梓は1981年、「第五世代コンピュータ開発計画」ICOT始動の1前年で、そのICOTは人工知能を述語論理による推論の連鎖として定義していた。経済原則を１つ１つ教えてゆけば、そこから「風が吹けば桶屋が儲かる」答えを出すみたいな話だ。

2020-12-05 04:27:36

ウチューじん・ささき @uchujin17

僕は1987年の卒業研究で曲りなりにも当時の人工知能研究に関わったので、マスコミの騒ぎっぷりと現場の泥臭さのギャップを覚えている。推論エンジンの仕組みを理解しているほどに、「敵は海賊」で書かれたAMLみたいな仕組みは思いつかないと思う。優れた作家の洞察力は恐ろしいものだ。

2020-12-05 04:33:49

SEAHAL @seahalcom

おもしろい話だな。 twitter.com/uchujin17/stat…

2020-12-07 00:32:52

🧸りく@サーバーサイド @rikum1018

すごいなこれこういう発想は全くなかったなー同じ画像にみえるけど、画像認識上は別画像。暗号文みたいだ。 twitter.com/uchujin17/stat…

2020-12-05 17:28:05

徳納弘和 TOKUNO Hirokazu @ochokurin

へー、画像を誤認識させる技術か。これも技術開発で乗り越えていくんだろうけど、今もセキュリティが甘いサイトやPCがあるように攻撃はある程度成功するんだろう。 twitter.com/uchujin17/stat…

2020-12-06 22:34:23

タミノ @tamino_favorite

AIを騙すというか、AIを利用した仕組みの穴をつくってことかな。面白いねぇ twitter.com/uchujin17/stat…

2020-12-10 18:32:27

サトシ @satoshigarage

人が認識しづらい部分でAIが判断間違うってところがヒントですよね。どうやって人と注視する部分を合わせていくか。人と同じようにやって欲しい場合と、人より正確にやって欲しい場合があるかな。面白い話だなー twitter.com/uchujin17/stat…

2020-12-05 12:23:48

EPSILON @EPSILON13

よし通れってなっちゃうのか。 twitter.com/uchujin17/stat…

2020-12-05 11:35:28

コーヨー @koyo620toto

これ面白いな、活用例はよくわからないけど、セキュリティとウイルスのいたちごっこみたいな構造が画像認識周りでも発生し始めてるのか twitter.com/uchujin17/stat…

2020-12-05 16:29:58

︎︎︎ ︎ @stmkza

GoogleのCaptchaとかである画像を選ぶのも、これ使われてるのかな。結構判別されそうだと思ってたけどこういうのがあるのか twitter.com/uchujin17/stat…

2020-12-05 12:10:14

しのみー @shinome777

日本語だと「敵対的」の語が使われることが多いかな。画像の例は入力画像に対する勾配を使った単純な例だけど、最近のやつは何してんだろ。 MLの予測が人間とずれた時、それが「新たな発見」なのか、ただ本質的でないノイズの影響なのかはよく見分けないといけない。現状ほとんど後者だろうけど。 twitter.com/uchujin17/stat…

2020-12-05 14:48:14