ディープラーニングの画像認識ソフトで『パンダの画像＋ノイズ』が『99.3%テナガザル』と判定される脆弱性が！

今日の機械学習の講義で聞いて驚いた話。左のパンダの写真にごくわずかな加工を加えて右の写真にすると、人間の目にはほぼ同じに見えるのに、最新鋭のDeepLerningの画像認識ソフトでも、左はパンダと判定されるが、右は「99.3%テナガザル」と凄まじい誤判定を起こす。 pic.twitter.com/SvB76Rm1NR

2017-08-09 23:03:29

拡大

シータ @Perfect_Insider

これはadversarial exampleとして知られているもので、誤反応を引き起こす巧妙な加工が行われている。しかもニューラルネットによる画像認識に対しては共通の脆弱性があり、共通の加工で多くの異なるマシンが騙されるらしい。 sotetsuk.hatenablog.com/entry/2015/12/…

2017-08-09 23:07:43

ルルドラゴ🎄 @Rurudrago

57.7%パンダ+8.2%線形動物=99.3%テナガザル

2017-08-10 21:38:07

ねいど @neidondon

何故テナガザル

2017-08-10 22:55:58

ακc @real_osashimi_p

99.3%テナガザルのパワーワード感

2017-08-10 21:01:40

八城司 @Yashiro_Moon

こういう講義好き

2017-08-10 13:31:18

りよ@60万貯める @mashu_riyo

@Perfect_Insider 真ん中の画像が8パーセントながら線虫と判断されてることにも驚いた…

2017-08-10 13:08:31

賽骰だいす@甘味を要求する @Saikoroid

加工用のノイズ画像を「8.2%の確率で線虫」って判定してるのもなかなかうまくいかない画像判定AI感あっていい

2017-08-10 22:56:04

くーちゃん@ @hanayo_12ch

データの前処理は大切(こういう画像が混じってる可能性)

2017-08-10 14:04:19

悪魔猫なおすけ @nyaa_naosuke_su

過学習かあるいは学習材料が不適切なのでは_(:3 」∠)_

2017-08-10 13:54:03

MoT @romaspqr

「ニューラルネットの構造か学習のさせ方が適切でなかったのでは？」

2017-08-10 00:57:12

桐山櫛那 @exiomica

ノイズへの耐性はニューラルネットワークの課題の一つでしたねそういえば。

2017-08-10 10:52:51

ehabu @ehub00

@Perfect_Insider フォロー外から失礼します。画像認識を利用したセキュリティとそれをかいくぐろうとするハッカーの戦いが現実になるかもしれませんね。

2017-08-10 20:32:51

セバス🍶ちゃん 🌻 @tokumi2

機械化された人に対する光学迷彩的に使えるのかな。

2017-08-10 13:45:41

wp1t @wp1t1

@Perfect_Insider 元のパンダ画像が57.7％程度だから、ノイズ加えると99.3％テナガザルに化けてしまう?　では、99.3％パンダ画像だったらテナガザルデジタルデータにはならないのだろうか?　人物画像判定セキュリティシステムへの警告になるだろう。

2017-08-10 08:31:09

あイおワん @iowanman

@Perfect_Insider 標識ハック！ japanese.engadget.com/2017/08/07/ai/

2017-08-09 23:21:08

リンク Engadget JP ｢標識ハック｣が自動運転AIに混乱をもたらす研究結果。見た目わずかな差がまったく違う意味に - Engadget Japanese ワシントン大学やミシガン大学からなる研究チームが、いとも簡単に自動運転車のAIを混乱させる方法を発見しました。たとえば既存の停止標識にいくつかのステッカーを貼るだけで、自動運転AIはそれを速度制限の標識に誤認識するとのこと。自動運転車は、LIDARや超音波といった物体検出センサーに加え、カメラによるイメージなど... 21 users 134