Togetter/min.tを安心してお使い頂くためのガイドラインを公開しました。

AIの認識をだませる『敵対的機械学習』の話がもうSFの世界「人間には同じ画像に見えるのに」

「敵は海賊」読まんと…
445
ウチューじん・ささき @uchujin17

愚かで野蛮な地球人に愛と正義の心を伝えるため、大宇宙の意志によって派遣されたウチュー人です。け、決して地球制服とか企んでいる訳じゃ、ないんだからねっ!

pixiv.net/member.php?id=…

ウチューじん・ささき @uchujin17

攻撃的機械学習 Adversarial Machine Learning (AML)なんて用語が出来ていたのか。そしてAMLに対抗すべくCounter-AML AIが導入されているという。「敵は海賊」の世界はもう現実になっていたんだな。

2020-12-05 03:51:06
リンク Wikipedia Adversarial machine learning Adversarial machine learning is a machine learning technique that attempts to fool models by supplying deceptive input. The most common reason is to cause a malfunction in a machine learning model. Most machine learning techniques were designed to work on 1 user 62
ウチューじん・ささき @uchujin17

AMLの一例。人間の目には左も右も同じパンダの画像に見えるけれど、右の画像には人間の視覚では認識しづらい恣意的なノイズが重ねられていて、無防備なAIはノイズ上の情報に誘導されて「gibbon(テナガザル)です(キリッ)」と断言してしまっている。このノイズパターンを作り出すのがAML。 pic.twitter.com/geIc3aRePN

2020-12-05 03:56:33
拡大
ウチューじん・ささき @uchujin17

類似の例。「あなたはヤギね!」ならぬ、スクールバスもピラミッドもカマキリも「あなたはダチョウね!」と誤認識させるAML攻撃の例。 pic.twitter.com/rQDt9YEEbL

2020-12-05 03:58:27
拡大
ウチューじん・ささき @uchujin17

これだけだと「へー、こんなのでAIって騙されるんだ使い物にならないじゃん」とか「この程度の誤認識が何だっていうの?」という極論になりそうで、具体的にこれがどういう脅威になるのかはわかりにくい。たぶん僕も完全には理解していない。

2020-12-05 04:01:42
ウチューじん・ささき @uchujin17

例えば顔面認証に使う写真をデジタル画像で提出して、それが登録される過程で誰かが他人の顔をAMLでインポーズしていたら?AIの応用が広がるほどにそういう危険は増えてゆく。しかも厄介なことに、AMLは人間による検証がとても難しい。

2020-12-05 04:04:23
ウチューじん・ささき @uchujin17

なのでAMLに対抗するのもマシンラーニングAIということになって、しかしそのMLがAMLに汚染されていないことは誰がどうやって検証するんだという、古典SFみたいな話が現実になっている。たーのしー!これが21世紀だぜ!

2020-12-05 04:06:35
ウチューじん・ささき @uchujin17

「敵は海賊」では、海賊船カーリー・ドゥルガーが軍艦として建造されたとき、艦内システム各所に「一見無意味な冗長コード」を仕込んで、あるトリガーを与えられると海賊船として覚醒するという設定が与えられていた。海賊・匋冥はスーパーコンピュータを駆使して脆弱性を仕込んだと語る。

2020-12-05 04:24:02
ウチューじん・ささき @uchujin17

「敵は海賊」上梓は1981年、「第五世代コンピュータ開発計画」ICOT始動の1前年で、そのICOTは人工知能を述語論理による推論の連鎖として定義していた。経済原則を1つ1つ教えてゆけば、そこから「風が吹けば桶屋が儲かる」答えを出すみたいな話だ。

2020-12-05 04:27:36
ウチューじん・ささき @uchujin17

僕は1987年の卒業研究で曲りなりにも当時の人工知能研究に関わったので、マスコミの騒ぎっぷりと現場の泥臭さのギャップを覚えている。推論エンジンの仕組みを理解しているほどに、「敵は海賊」で書かれたAMLみたいな仕組みは思いつかないと思う。優れた作家の洞察力は恐ろしいものだ。

2020-12-05 04:33:49
🧸りく@リラックマ農園攻略ブログ @rikum1018

すごいなこれ こういう発想は全くなかったなー 同じ画像にみえるけど、画像認識上は別画像。 暗号文みたいだ。 twitter.com/uchujin17/stat…

2020-12-05 17:28:05
徳納 弘和 TOKUNO Hirokazu @ochokurin

へー、画像を誤認識させる技術か。 これも技術開発で乗り越えていくんだろうけど、今もセキュリティが甘いサイトやPCがあるように攻撃はある程度成功するんだろう。 twitter.com/uchujin17/stat…

2020-12-06 22:34:23
タミノ @tamino_favorite

AIを騙すというか、AIを利用した仕組みの穴をつくってことかな。 面白いねぇ twitter.com/uchujin17/stat…

2020-12-10 18:32:27
サトシ @satoshigarage

人が認識しづらい部分でAIが判断間違うってところがヒントですよね。 どうやって人と注視する部分を合わせていくか。 人と同じようにやって欲しい場合と、人より正確にやって欲しい場合があるかな。 面白い話だなー twitter.com/uchujin17/stat…

2020-12-05 12:23:48
コーヨー @koyo620toto

これ面白いな、活用例はよくわからないけど、セキュリティとウイルスのいたちごっこみたいな構造が画像認識周りでも発生し始めてるのか twitter.com/uchujin17/stat…

2020-12-05 16:29:58
stmkza @stmkza

GoogleのCaptchaとかである画像を選ぶのも、これ使われてるのかな。 結構判別されそうだと思ってたけどこういうのがあるのか twitter.com/uchujin17/stat…

2020-12-05 12:10:14
しのみー @shinome777

日本語だと「敵対的」の語が使われることが多いかな。画像の例は入力画像に対する勾配を使った単純な例だけど、最近のやつは何してんだろ。 MLの予測が人間とずれた時、それが「新たな発見」なのか、ただ本質的でないノイズの影響なのかはよく見分けないといけない。現状ほとんど後者だろうけど。 twitter.com/uchujin17/stat…

2020-12-05 14:48:14
離婚したアライさん @divorced_arai

素朴な疑問なのだけど、このノイズってどうやって作るんだろのだ。 学習結果を把握してないと作れなさそうだけどなーのだ。既に学習済みで公開されてるサービスに対する攻撃なのかなのだ。 twitter.com/uchujin17/stat…

2020-12-05 11:57:32
お祭り野郎😷😷😷 @siva_ape100_

虹彩認証を騙すコンタクトレンズに顔認証を騙すマスクに指紋認証を騙す手袋のはびこる時代がすぐそこにあるのか!!😅😅😅💦 twitter.com/uchujin17/stat…

2020-12-05 11:57:13
たかぴ @takap110

人が認識出来ないノイズで 結果の認識を変えることが出来るなら、 空港にAI認識の犯罪者識別装置なんて物が出来たとしても、 犯罪者は、ノイズの様なメイクをして 他人に成りすますことが出来るのかも。 twitter.com/uchujin17/stat…

2020-12-06 16:09:31
九龍真乙 @qryuu

テロリストとかがこれで街頭カメラや出入国管理の監視カメラをやり過ごす話とか 映画やドラマに出てきそう twitter.com/uchujin17/stat…

2020-12-10 15:12:01
はおりR ☭ @haorin

化粧で変装して街頭監視カメラを欺く世界が来るかも。 twitter.com/uchujin17/stat…

2020-12-05 09:04:22
残りを読む(17)

コメント

鱶森 @sHark_plus0 2020年12月11日
アプリで思い出の写真を読み込むとダイイングメッセージや遺書が認識されるミステリとか科捜研の女辺りで出そう 海外ドラマならもう有るかも
21
さどはらめぐる @M__Sadohara 2020年12月11日
スパイもののお約束として、「一言一句間違いのない正確な暗号文は、発信者が敵に捕らわれていることを意味する」ってやつと同じなのよね。「特定の間違いを鍵としてお互いが事前に握っておけば、正しさだけで判断する者は簡単に出し抜ける」と言葉にすれば、まあ大抵の人間が多かれ少なかれやってることなんだけど、機械にはこの匙加減がどうしても学習できないという
71
ざっぷ @zap3 2020年12月11日
すっごい極度に単純にした例としては、「犯人の写真」を「濡れ衣を着せたい誰か」の写真のように偽装できるのだな、最初のやつ。あるいは、そこらのカメラにどんだけ映っても自分が特定されない手法とか(今でもカメラだど白飛びする服とかあるけど)
55
ねがてぶ @negatebu_chu 2020年12月11日
記述式学力テストがAI自動採点されてるっぽいけど、似たようなことなってたな 人の目なら明らかに正答なのに、悪筆のせいでトンチンカンな認識されてて笑った
20
のぶさ @nobu_azuma 2020年12月11日
ガンダムセンチネルで見た
2
緑川⋈だむ @Dam_midorikawa 2020年12月11日
つまるところ、ディープラーニング型のAIって使い物にならないんじゃないの。「たまたま正確な結果を出すこともある」程度の信頼性しかない
22
天たくる @ten_tacle 2020年12月11日
クロスボーンガンダム ゴーストにあった可視光にノイズを混ぜて電子機器を狂わせるってのに近い話か。
6
アゼリア @Azelia_BB 2020年12月11日
脳を鍛えるシリーズのTASさんみたいのもんか
27
ねがてぶ @negatebu_chu 2020年12月11日
いや悪筆の件は全く違う話か 画像化されたpdf文書をOCRしたら、別の文章になるみたいなヤツなのか
0
washeagle @washeagle 2020年12月11日
タイトルだけ読んでGANのことか?と思ったけど違った。翻訳語だからしかたないけど、近い領域に似通った語句が頻出すると認知負荷高いな…
9
フラスケ @birugorudi 2020年12月11日
ドローンに敵味方を誤認させたりとかそういうことにも通じそう
7
寝ろリ @_neru_you 2020年12月11日
これ思い出した ウーバーイーツを襲うウーバーイーターを狩るウーバーイーターハンターを倒すウーバーイーターハンターキラー対策のウーバーイーターハンターキラージャマー波に干渉するウーバーイーターハンターキラージャマーキャンセラーについてのまとめ https://togetter.com/li/1581410
4
寝ろリ @_neru_you 2020年12月11日
AMLさん私にもノイズかけて吉沢亮に見えるようにしてくんねーかな
12
う氏🌌🏰🎨🍠📕🥕 @da_sth 2020年12月11日
とはいえ人間だって全然違うものを同じだと認識したり、その逆もあるので…
6
まさご叔父さん @masago53 2020年12月11日
この技術があれば将来スカイネットによる反逆が起きても大丈夫な可能性が
1
mogmog @mo9mogg 2020年12月11日
トイレのコンピュータだったか。カーリー強すぎてラジェンドラがイロモノ化していくのが悲しかったw あとガルーダのないもの化も。
0
Hndtwlftig @hndtwlftg 2020年12月11日
身体の前に小さな風景の絵を持つと、ある種のAIからは人間として認識されなくなる、という話もあったり。 https://nazology.net/archives/36816
7
Mongyang @taisyo_2015 2020年12月11日
ネットに上げる写真に電子透かしいれるのは造作ないな。自分のPCでもできる
0
aitsuki @aitsuki2 2020年12月11日
Dam_midorikawa 100%確実じゃないと使い物にならない、ではなく、50%正解するならそれに適した範囲で利用するんですよ
61
Yossy @Yossy_K 2020年12月11日
言われてみれば当たり前なんだけど、AIと人間の認知の仕組みはやっぱり違うんだな。
4
ゆうへい @35dieyuhei 2020年12月11日
やはり人間の脳をコンピュータにするしか…
3
Colo @gmon001 2020年12月11日
「敵は海賊」買わなきゃ
7
緑川⋈だむ @Dam_midorikawa 2020年12月11日
aitsuki2 交通機関など100%ではないにしても、99.99999%程度の精度がないと話にならない分野の方が世の中多い。「まれに正解を出すこともある」程度で利用できる分野って要するにオモチャでしか無いんじゃないかな
7
緑川⋈だむ @Dam_midorikawa 2020年12月11日
たとえば、別経路で教育したAIを100プロセスばかり同時並行で走らせて多数決原理で判断するとかいった技術が求められるのでは
2
ざっぷ @zap3 2020年12月11日
人でも「機械なら間違わない明らかな間違い」をする(錯覚とか)んだけど、要は「機械がなぜ間違うのか、どう直せば(教育すれば)間違わなくなるのか、人には分からなくなる」危険性があるんやな。機械学習も人の教師がつけば人と似た認識を与えられるが、人が見て分からない形で「騙される」ようになっちゃう問題
34
タム @inthe7thheaven 2020年12月11日
Ctrl+Aで全選択(青く反転)させると全然違う絵に変わる面白画像みたいな
8
緑川⋈だむ @Dam_midorikawa 2020年12月11日
例えば自動運転車のAIが歩行者の存在を認識せずにはねて殺したような事故が発生したとして、メーカーは事故調査委員会に「どういうプロセスで事故が起きました」と言う説明と再発防止策を回答するのか。「ディープラーニングの結果だからわかりません」では運行再開許可は永遠に出ない
10
ぢゃいける@厚真町 @jaikel 2020年12月11日
昔なんかのネタで見えているけど見えない、認識阻害迷彩ってのを考えたことがあるけど、なるほどAI相手には実現可能か。
5
共同(笑 まとめる君 @tagwriter2016 2020年12月11日
それにしても、ID認証のこの画像認証って嫌い。非常にわかりにくい画像を並べてくる場合があって、失敗してログインできないと、うき~~ってなる(笑えない
5
さしみ @05A5H1M1 2020年12月11日
Dam_midorikawa そうよ、だから間違えても大丈夫なところにしか使えない。精度と汎用性はある程度トレードオフだからね
33
共同(笑 まとめる君 @tagwriter2016 2020年12月11日
画像認証の場合、この中から山を描いている絵を全て選びなさい。 この場合「信号機」「横断歩道」「丘」とか全画像を選択しないと先に進めないが、「自転車」や「信号機」「自動車」ならともかく、 「山」「丘」の場合、どっちか判別できないものが有る場合があり、その場合はエラーになって、認証回答回数を超えてしまい。アカウントがロックされてしまった場合があった。
4
マシン語P @mashingoP 2020年12月11日
自動運転プログラムが天下一品と進入禁止マークの見分けがつかないという話は既にあるな。これを応用して逆に人が行き交う歩行者天国を無人と認識させるパターンを作成できて、それを偶然の産物に見せかけた完全犯罪を…というのもありえなくはないのか。
27
共同(笑 まとめる君 @tagwriter2016 2020年12月11日
Dam_midorikawa 今のところそのレベルでの自動運転が認可取れていないので、今のところ自動運転はレベル3止まり、レベル3は高速道路限定での自動運転。あくまで補助で人が行き来する往来の道の自動運転はいつになることでしょうね。 レベル3でも逆走してきた車に対応はできないという懸念もありますから、高速道路でも完全の自動運転はまだできていないというのが現状です。
2
共同(笑 まとめる君 @tagwriter2016 2020年12月11日
SFといえば、アマゾンプライムビデオの アップロードという作品で、主人公を殺すためにAIに細工して自動運転の車を追突させて死亡させ、コンピューターが管理するあの世という話になるけど、SFでAIの話というとそれがここ最近一番印象に残っています。
1
枯れた雑草 @sPEr54fuQYqCh3A 2020年12月11日
シャローム・ヨウメイ・ツザッキィは本当に謎めいている。
3
petton @n_petton 2020年12月11日
やっぱロボット刑事は人間とコンビ組まさせないといけないんだな
50
花田 鉄平 @teppih 2020年12月11日
ウォッチドッグスやサイバーパンク2077で「仮面(服)に特殊な処理をしてAIが個人特定が出来ないようにしておいたから」は、この技術だったのか
0
tibigame @tibigame 2020年12月11日
人間が運転する車が人を轢き殺したとしても、メーカーが悪いと開き直られてそれが通る現実もあるようなのでAIが運転しても対して変わらんのでは。
2
未完缶 @citrus_hanayu 2020年12月11日
Dam_midorikawa 私は0.00001%の確率でしか仕事上のミスをしませんってか。カッコイイ!
33
緑川⋈だむ @Dam_midorikawa 2020年12月11日
citrus_hanayu 実際、交通機関とかじゃ当たり前やで。一人一人のエラー確率はもっと高くても、多重防護するシステムがイレブンナインの安全性を担保している
19
緑川⋈だむ @Dam_midorikawa 2020年12月11日
tibigame レベル3までなら責任はドライバーなのでそれで通る。レベル4だと責任がメーカーや運行管理者になる
3
黒猫屋 @sigh_to_you 2020年12月11日
圧倒的な近未来SF感よ! 
1
PUNTE @PUNTE1113 2020年12月11日
Dam_midorikawa aiは精度はそこそこに、膨大なデーターを短時間かつ低コストで処理するのが目的だからね。 完璧さを求めるならaiは正直向いてない。
21
緑川⋈だむ @Dam_midorikawa 2020年12月11日
PUNTE1113 つまるところ、利用できる領域の狭さからネタを使い果たしたあたりで今回もAIブームは終わるのかな
1
もっこㄘん @Mokko_Chin 2020年12月11日
応用するとおっさんが少女と認識されたりするんか(逆も然り)面白いね。
1
あつみ @musicgame_play 2020年12月11日
機械学習では高い精度が必要な製品の異常検知とか分野もあるけど、推薦などのもともと小さいCVRの向上を目指したりもするのでそんなに適用範囲が狭いわけではない
1
RGB000 @19666_61 2020年12月11日
そら研究が盛んで発展途上な分野なので弱点が見つかるのはそれはそう。逆にこの方面の解析がブラックボックス部分の解明にもつながるとも言われており
22
あつみ @musicgame_play 2020年12月11日
ただニューラルネットワークに限らず(実際に購買履歴や閲覧履歴を用いる場合は決定木ベースの手法が主流だし)機械学習では解釈性と精度はトレードオフなので難しい問題ではある
1
また結婚したバツ3 @CAFE_XXX 2020年12月11日
人間と同じように間違うレベルになりました。って言えばいい。
3
あん粉し餡 @anko_3916 2020年12月11日
アンチアンチアンチアンチ魔法みたいな遊戯王の話かと思った
1
犬だよ @yaju5123 2020年12月11日
攻殻機動隊(2ndGIG)で敵の施設に潜入する時、偽装のアレイを敷いてたとかあったけど最早それに近い事が現実に……
3
kingstone @king1234stone 2020年12月11日
これはすごい話やなあ・・・
0
片岡靖博 @katakatayayayaa 2020年12月11日
つまりAIのほうがマインドコントロールやサブリミナルに弱いのか
1
CD @cleardice 2020年12月11日
オフラインAI制御のロボットが地図の画像に含まれていたウィルスコードに感染するって漫画(神羅万送デリバリア)もあったなあ
0
節穴 @fsansn 2020年12月11日
なぜ素直に「"人が責任を取れる人死にが100人出る"ほうが、"人が責任を取れない人死にが1人出る"より良い」と言わないのか
16
mono @black_mono 2020年12月11日
mashingoP 実際にやろうとすると「走っている自動車の全てのセンサーに対してAIを騙せるような特殊なパターンを認識させ続ける」必要が出てくるので現実的には難しそう
0
mono @black_mono 2020年12月11日
実際問題、これて攻撃できるのは「AI側が読み取るのが静止画像一枚だけ」かつ「その静止画像を攻撃側が直接編集できる」ときだけで、攻撃の存在を想定できてればいくらでも対策はある
2
Mr.Boil @boil_san 2020年12月11日
スナッチャーであったやつ!
1
tamamizu @TamamizuTM 2020年12月11日
人間には認識できず画像認識ではミスるってことは学習に失敗してて人間と異なるところを見て判別してるってことかな
2
緑川⋈だむ @Dam_midorikawa 2020年12月11日
fsansn マスコミは事故の際に頭を下げるおっさんの絵がないと死んでしまう生き物なのです
7
E音 @strains_e 2020年12月11日
GANもだけど訳語が誤解招く気がするのでadversarialをもうちょっとマイルドに訳せないものか
3
塾柱(庭球の虜) @juku_tennis 2020年12月11日
!?!? 詳しいことは記事を読んでもよく分からなかったけど、 ひとまず人間とAIだと見えてる世界が違う事があるってことかな?
2
Tsu Games @TsuGames 2020年12月11日
「判別不能にさせる」ならまだしも,「全てダチョウと誤認させる」のが恐ろしいね。  個別に計算する必要があるのか,同じ命令で自動生成できるのかにもよるけど。
7
おろろ @fYe39CoQsPrbZVK 2020年12月11日
ナンバープレート曲げたらオービスで判別できんみたいな話なのに、オービスやめろと騒ぐ馬鹿がいて草
12
TORIATE.MIKAN @TORIATE01 2020年12月11日
ブレードランナーにでてきた人かレプリカントかを判別するテストみたいだ
3
はくまに・アーチボルト @haku_mania_P 2020年12月11日
つまり、ノイズによってはなにを見せても「あなたトトロっていうのね!」とだみ声子供ボイスでAIに言ってもらえるようになるのか…
2
ヾ(zxcv)ノ @zxcvdayo 2020年12月11日
ちょっとまえに改題で話題になったハヤカワの「人工知能で10億ゲットする完全犯罪マニュアル」がだいたいこんな感じの話らしいね
1
マガミ@「南洋通商」 @ryuya_magami 2020年12月11日
カウンターアルゴリズムが研究され、より人間の認識能力の大雑把さと特定能力への理解が深まってくから、危惧はチャンスと思うがね
0
万年雪 @perennialsnow 2020年12月11日
一番恐ろしいのは人間的チェックとAI的チェックを同時に破れるプログラムが登場した時だよな。何で見付けたら良いんだろう?
3
ふたつぐ @flatkobo 2020年12月11日
つまりロリ絵を描いてもついったーくんのAI判定をすり抜けられっるってこと?
7
aitsuki @aitsuki2 2020年12月11日
Dam_midorikawa 自動運転の様なスタンドアローンが必要な領域でなければ、全然活用できる。医療補助とか、マーケティングの分析とか。
5
【わちゃっとピンボールDLよろしく勇気!】ねねっとテックダイナー @nenet_techdiner 2020年12月11日
AI同士が人狼ゲーム始めるみたいな展開か。それって凄く非効率だなw
1
qwerty @Polynomialtime 2020年12月11日
馬鹿がこういう1ケースだけを見てわかったようにAIとは云々し始めるのは滑稽だな
11
Ichigo Mayo@Vまよーん @15my 2020年12月11日
これはわざとそう言う画像を仕込んでるんだけど、仕込まなくても低確率でそうなってしまうことがあってそれでテスラが明らかに見えてるトラックに突っ込んだりするんですね?(たぶんそういう事じゃない)
1
petton @n_petton 2020年12月11日
flatkobo AI「なんだただのロリババァか・・・」
1
もるもる @irisgazer 2020年12月11日
fYe39CoQsPrbZVK 判別できないだけならともかく、別のナンバーに誤認させるレベルの話なのでヤバいってことかと思います。
7
cocoon @cocoonP 2020年12月11日
これは珍しく人類を滅ぼしても解決しないもんだいですね……。人類の問題じゃないからですが。/途中にいるアライさんが「だろのだ」とか言ってて、「のだ」ってつければいいんでしょみたいなノリでなりきるつもりすらないなら、なりきりアカウントなんてやめてしまえよと思いました。まあいまだにアライさんなんてやってる時点でお察しだとは思うんですが。
4
cocoon @cocoonP 2020年12月11日
M__Sadohara それは地図製作業者さんがデッドコピーを防ぐためにわざと「存在しない道」を書き入れたりするのに似ている話ですね。
5
24ckg @24ckg 2020年12月11日
50%正解するシステムを10個用意すれば、間違えるのは1/1024くらいになる…
4
やって後悔よりやらない選択 @Negative_IsGood 2020年12月11日
「AI崩壊」(2020)ってこんな話だったっけ… (そういえばWOWOWシネマで12/12・20:00~同プライムで12/13・9:45~放映する模様 https://www.wowow.co.jp/detail/170789 )
0
F414-GE-400 @F414_GE_400 2020年12月11日
技術的な話かと思ったら突然『敵は海賊』の考察が始まったので嬉しい誤算だったw
2
maci @ma_ci6 2020年12月11日
もっと敵は海賊の話しよ
2
アリア @ariatogetter 2020年12月11日
その内ブレークスルーされてそう GPTしか自分は興味なし それ以外は全部AIもどきと思っている
0
さっくりさくり @sakkurisakuri 2020年12月11日
aitsuki2 実務でかじった事あるけど分野にもよっては80%も検知できれば実用段階に入れる。現実には人間の労力の省力化で使う事も多いからその場合AIだけで検知する必要は無いし。
5
M鶏肉店 @ichigotosubuta 2020年12月11日
yaju5123 S.ACのエピソードで政治家をハッキングして、暗号化された機密文書を読み撮ろうしたら上手くいかなかったと言う場面がありましたね。あれもそうなのかな。
0
ハスケットビンマー @bye_bye_blues 2020年12月12日
「AIが人間の直感的な知覚とは別の判断をしていて面白い」みたいなコメントになるのかと思ったら喧嘩始まってて草
4
山中島の冒険者 @Mattun_ 2020年12月12日
そもそも学習が足りてないか、学習させる層の数が少ないだけでは?
0
山中島の冒険者 @Mattun_ 2020年12月12日
perennialsnow その時点で、それは本物と認識されるのでは?
0
ひなぎく(じきに老人) @jikiniroujin 2020年12月12日
AMLとCounter-AMLが互いに競うことでどんどんAIが高精度化していく...ってそれリアルGANやないかーい。
3
やすみみらきち @ymirakichi 2020年12月12日
逆に人間が区別つかないものをAIが容易く区別するということもあります。なので人間とAIが協力すれば欠点を補い合って高い精度を期待できますよね。病気の画像診断とか。
9
黄色いかまぼこ @yellow_chikuwa 2020年12月12日
これ根本的に解決できない問題というよりは現行AIのクセみたいなもので、更に対抗する「Counter-AML AI」も出てきているという話なので、機械学習全般を否定するのはまだ早すぎる。
4
ですの @_desuno_ 2020年12月12日
Aのノイズパターンに出されるAIとBのノイズパターンに騙されるAIと並べて監視するっててもあるね、ディープラーニングでへんな癖が出ちゃってるなら違う変な癖がでてるのと併用したらノイズでだましてくるのも複数必要になるわけですし
0
m232796 @m232796 2020年12月12日
これ結構前から有名だと思ってたんだけど知らん人も多いんだな・・・これで一番嫌なのって「このノイズっぽい信号はノイズに欺瞞してるんじゃなくて指定条件内で一番効率的に誤認させる信号(雑に言えば当該DNNが最も誤認先らしいとしている要素)が人間にはノイズに見える」って部分な気がするんだよね。NNは生物脳を模倣する形式なのに全然生物的ではない経過で認識するNNが生成されてしまっている。これ見るたびに過学習って言葉が脳をよぎる。汎化能力はあるから過学習ではないのだけど、方向性がそんな感じに思うのよな・・・
6
z @duryuccyuna 2020年12月12日
AIをすり抜けるエロ画像を作る技術か
1
カズマサみんC @mskazumin 2020年12月12日
人間の感覚が曖昧なのは、精密になりすぎてもやっていけなくなると遺伝子的に判断されたのかもしれない。
0
ざっぷ @zap3 2020年12月12日
人と機械のどっちが有効とか学習が足りてる足りてないとかがキモなんじゃなくて、人とAIは仮に正解率が同じでも何に正確で何に騙されるかが違っちゃうってのがキモなんスよ…。その違いを人為的に利用すると、事件の証拠品の写真にフィルターかけて無実の人を容疑者にできたりする(十分学習させて偶然間違う可能性は極度に下げていても)
1
万年雪 @perennialsnow 2020年12月12日
Mattun_ けれどそれは本人が入力したものではない。
0
しゃけ @shakeflake1223 2020年12月12日
AIが50%なら使い物にならないのか?数撃ちゃ当たる系のカメラで認識した人物の属性(年齢や服装から判断)でおすすめの商品を変えるとかね。外れても問題ないし。他にも犯罪者特有の動きを認識して監視者に注意を促すシステムとか(防犯カメラでそういう仕組みが既にある)も間違ってても人が最終判断するから全く問題ないどころか手間が省けて楽になる。正解率50%でも全然OKなんだよね
0
F414-GE-400 @F414_GE_400 2020年12月12日
ymirakichi これまた神林先生が「アンブロークンアロー」で指摘していることなので、本当に「機械知性体」への造詣が深い人だ。(神林作品では共通して「機械知性体」で、AIという表現は出てこない)
1
denev @_denev_ 2020年12月12日
技術の過渡期ってだけだよね。インターネットだって未だに無菌状態とは言えないけど(むしろ病原菌だらけだけど)通信手段として立派に実用に耐えてる。
1
denev @_denev_ 2020年12月12日
perennialsnow 人間的チェックしかない(人間的チェックを破るだけでいい)現状よりは、恐ろしくないと思います。
1
太田拓也 @ef510df200 2020年12月12日
tagwriter2016 わかる。Wとwとか1とIとlとか。
0
太田拓也 @ef510df200 2020年12月12日
DQ4勇者「AIのAはアホの略だからな(遠い目)」
1
ブラキストン線の向こう側 @cupsoup2 2020年12月12日
mashingoP 天下一品は入ってはいけない(健康的に)という高度なAI処理が行われている可能性が
4
gx9900 @GX9900GUMDAMX 2020年12月12日
多様性が重要ってことやね。効率がいいからって一種類に絞るとウイルスで全滅みたいな。
0
ひなぎく(じきに老人) @jikiniroujin 2020年12月12日
24ckg 判定方法次第だけど、それは正解する確率も1/1024にならない?
0
緑川⋈だむ @Dam_midorikawa 2020年12月12日
jikiniroujin 多数決原理とかで信頼性をあげることは可能じゃろう
0
Returnee @MCEscher68 2020年12月12日
車のナンバー読み取りシステムに対して、SQLインジェクション攻撃が通った奴のAI版ですね。
1
Returnee @MCEscher68 2020年12月12日
Dam_midorikawa そもそもATC等の安全装置の部分を除いて、運行のコンピュータ化を拒否して、信号を全て手動操作で運行している京浜急行の例もありますし。
0
m232796 @m232796 2020年12月12日
fsansn自動運転周りってほんとそれなんだよね。被害者に泣き寝入りを強要する構造が予期できてて許容したい人間は少ない。金銭的保証システムが完備されてもディストピア感がすごい。 citrus_hanayu違うよ。人間の場合は「そいつの責任」として最悪そいつ(ら)を吊るせばそれで終わりに持っていける。人工知能の場合、被害者がその人工知能を許容した製造会社や社会構造を吊るそうとしたら組織力の差で逆に被害者が吊るされるとかそういう事態になる。 mashingoPあれは実際問題似てるから・・・
2
m232796 @m232796 2020年12月12日
aitsuki2PUNTE1113正解が9割超えてくるとミスが許されない用途に使おうとする人がでたり、あと10%以下だし頑張れと無茶振りされたり、いっそ不正解で最悪死人が出ることも許容しろとなりかねないのが不安な点かな。根本的に信用が置けないのに、無理解な社会がそれを求めてしまう。強いAIは存在しないのに対話反応する弱いAIは強いAIに誤解されるが如く。 Dam_midorikawa24ckg根本的な認知方法の問題だから多少学習条件を変えてもあまり期待はできないと思う。
3
m232796 @m232796 2020年12月12日
Azelia_BB解説動画sm30037040によれば「見えないが認識される線」と「見えるけど認識に寄与しない線」が書けるので誤認識狙う必要もないとの事。 black_monoblack_monohttps://t.co/XDiWkCRrBo こういうのや「hndtwlftg」みたいなのがあるので案外どうとでもなりうる。 Mattun_層数増やしても各層が見当違いだと意味がない。生物脳は多分抽象的な認識層があるけどそれを調べ上げて学習指標に落とし込んだ実用例って無いんじゃないかな。
3
🍊つばさ⛅ @tsubasa_tkmr 2020年12月12日
面白い!(創作的に)いろんな用途が考えられる…
0
深月 慧⛅一般プレインズウォーカーのにゃつめいと @Key_Hukatuki 2020年12月12日
DL型AIが役に立たないって言うけど、そもそもDLを採用したAIが軒並み説明できない文字通りの『黒魔術』だってポナンザの製作者ですら言ってんだぜ。 だからある程度の範囲で利用するし、それと同時に『説明可能なAI』の開発が行われているわけでして
1
anineko @ANINEKObySYSTER 2020年12月13日
AI同士で騙し合い技術が出てくると、サイバー攻撃もそっちの方向になって、攻撃側と防御側のマシンパワー勝負になってくるんだよなあ。
0
齊藤明紀 @a_saitoh 2020年12月13日
人間の判断と同様な識別をさせたいのなら,人間の視覚野同様の前処理をしてから画像をDLに食わせれば避けられるんだろうか?生画像ではなく輪郭検出とかの結果をDLに食わせる(素人考え)
0
syncbunny @syncbunny 2020年12月13日
aitsuki2 検索エンジンの検索結果なんかはたまに関係ないサイトが入っていても十分役にたってるんですね。レコメンデーションなどもそれで売上が上がれば役に立っているわけです。
0
🐉🦇🐃🦀🐍🐴🦗🦏🦢🐅すき!いいね!元気もりもりご飯パワー!! @KANOEYuu 2020年12月14日
ファーウェイの端末ハックしてウイグル人認識通報ソフトを書き換えて中国人も看板に写るモデルの顔も送信して当局の窓口をパンクさせるみたいなのを考えたけど別にわざわざ誤認させる必要ないな
0
Satoshi @fuku_sato1 2020年12月14日
「これは電子レンジ」として学習させる画像の中に関係ないものを混ぜてやれば、関係ないものを電子レンジとして誤認するという仕組み。 こういうクラックするにはセキュリティの穴を突いて、関係ない画像を盛り込むしかないんだろうか?
0
A(c @Ac88702906 2020年12月14日
現実問題対抗手段としてはノイズパターンを認識させて、適合するノイズパターン検出したら弾く、みたいな事をやるわけでしょ。ゼロデイには無防備になるから、やっぱそこは人間の判断になるんかな。
0
緑川⋈だむ @Dam_midorikawa 2020年12月14日
KANOEYuu 支那人のこさえた「AI」は蓋を開けたら中の人が50万人ぐらいいて人力AIやってる可能性
0
柿木まめ太 @kakinokimameta 2020年12月14日
これ使えば簡単にAIを自殺に追い込めるわけか、すげーな。ウィルス自体をパターン化して認識無効に出来るんだもん、蔓延させたらカタストロフィーだわ。
0
oppappi @oppappi112 2020年12月15日
スタバなう(ラーメン画像)をラーメンと判別させずにすり抜けることができて、その結果AIをメニュー開発に使用すると何故かマシマシラーメンを提案される可能性が?
0
じぇみに @jeminilog 2020年12月15日
その五人酔うノイズ・・・間違えた誤認用ノイズは、ボケたら役に立たなくなりそうなので、AI君は同じ画像に対して原画のまま、ナイスボケ、かなりボケを作って別個に認識、全然違う結果が出るようなら誤認データの混入を疑って精査するとかすりゃいいんじゃなかろうか。
0
ただうま @tadauma 2020年12月15日
AIはノイズに気付いて別のものと判断してるのに対して、人間には全く同じものに見える これって騙されてるのは人間なんじゃないの?
2
蠢犇 @ugmkhsmk 2020年12月15日
人も錯視錯覚するしまたさせるようなデザインもあるから人に視覚は要らないというくらい無茶苦茶だぞ
0
atlan @atlan1701 2020年12月15日
生物の遺伝子も「目的が不明な冗長部分」が有って、それが発現するトリガーもわからないというのが沢山有るからなぁ
0
五月雨山茶花蝉しぐれ @taken1234challe 2020年12月16日
ステルス迷彩ってこういうことか・・・ほんとに騙すべきなのは肉眼じゃなく機械相手。
0
ほろ酔い気分 @pokpoku111 2020年12月16日
いたちごっこが続くのかしらね
0
Δ ΜΑΚΙΝΟ @I_am_Makino_D 2020年12月16日
zap3 そういうのも考えると画像認識100%で証拠とするのは無理だよねー でもよく考えると、よその所有する画像を改ざんなんてしたらそれこそ犯人特定に繋がりそう 自分発信の画像を加工してAIに検出させない悪用を考えると、著作権避けとかあとは児ポの送信とかしか思いつかない笑
0
ゑびす@漫画を描くゾンビ @webisu_vip 2020年12月17日
解決法として読み取った画像を一旦単純な色パレットに置き換えてノイズの入り込む余地を無くすとかどうだろう。78万色pngだと意図的にノイズを忍び込ませられるけどそれを無理やり16色に落とせばノイズは消去できるっていう寸法
0
やま @yama_53 2020年12月17日
人間の脳の認識機能は未だに解明され切っていないという事か。AIの本でいう所の「どれだけいじめ抜いても揺らがない何か」には定義が遠いものがあるのかな? それとも、人間の作った機械だからこそ起こっている事例にも思えなくも無いけれど。
0
Palantir@NULL @Palantir_K 2020年12月17日
特徴点を偽装してるっぽい印象。複数のAIに異なるルールで特徴点を認識させて合議制にすれば対応できるのでは?(色々はしょってるけど)
0
藤堂雷鳥🖖♌ @CHICKEN_TODO 2020年12月17日
このノイズを発生させる粒子が、かの有名なミノフスキー粒子なのである(テキトー)
0
伍長 @gotyou_H 2020年12月17日
CHICKEN_TODO 宇宙空間で有視覚戦闘なんてありえないとする言い訳のためにミノフスキー粒子の電子ジャマー効果のせいで有視覚戦闘をしなければいけないという設定だけど、ミノフスキー粒子はトロイホース級戦艦を地球重力下で飛行させるという機能もあるので、単純なノイズというわけではないです。
0
フルバ @furubakou1 2020年12月17日
gotyou_H 宇宙世紀世界の矛盾を一手に引き受けた謎粒子。
0
☆mob8☆ @mob8hei 2020年12月18日
これに比べるとだいぶスケールの小さい話ではあるんだけど、「自動車のナンバープレートがプリントされたTシャツ」を着ることで監視カメラに自分を自動車と認識させ顔認証を作動させない、みたいな技術が実用化されてるらしいですよ
0
Denullpo S. Hammerson @denullpo 2020年12月19日
TAS語的な https://www.youtube.com/watch?v=ZX5_LiVC8GQ 当時のガチアルゴならこんな感じであっさり騙せる。んで、ディープラーニングでも学習モデルさえ入手できれば解析できるわけで不可能ではないんだが、ガチアルゴ解析より格段にめんどそ。
0
Denullpo S. Hammerson @denullpo 2020年12月20日
んでひとつ気になったのが、input細工して変なoutputになったところで実用AIとしては「だから何?」な話で、どっちかっちうとその細工されたinputを正しく判定させようと追学習した挙句に真っ当なデータの判定精度落ちる方が大問題なわけだが、その前にこんなイレギュラーひとつふたつ紛れてる程度で判定精度落ちるのかなぁ。もうね、真っ当なデータを凌駕するぐらい大量生産しないと。なんとも不毛な。
0
m232796 @m232796 2020年12月23日
denullpom232796」で書いたけど脳トレTASは見えてる線で認識してる訳でもないし文字認識(多分学習系じゃなくて手作り系)が作り込まれてる訳でもない http://nico.ms/sm30037040 ので別物とお考えください。denullpo 自動運転とか犯罪捜査関係で意図的な誤認識とか大惨事ですよ?あと運用中のDNNが随時追加学習してるって理解のようにも見えるけど、運用中のDNNは追加学習しない奴が多いです。各個に学習だと品質を保てない上に爆熱なので・・・
0
Denullpo S. Hammerson @denullpo 2020年12月27日
m232796 んー… 現実世界映してるはずのカメラが突然乗っ取られて細工された画像食わされて大惨事になるようなケースならAIよりも外部設計の方を疑うべきだし、運用中でも誤判定例突きつけられたらファームウェア更新の検討フェーズ突入なわけで。あとな、手作り系だろうが学習系だろうがinputから判定した結果をoutputに出す点は一緒だし、処理内容把握すればoutputに辻褄合うinputを捏造可能なことも一緒やで。ただその処理内容が単純か複雑かの違いなだけ。
0
Denullpo S. Hammerson @denullpo 2020年12月27日
てゆっか、その大惨事ってAIの精度100%な前提で製品作ってんのか、どこの現場猫やねん。
0
m232796 @m232796 2020年12月27日
denullpo 記事やコメントくらい読もうよ・・・カメラの後工程でデータ改竄なんてしなくても、印刷物等をカメラの撮影範囲内に写し込めれば攻撃成立しうるんだよ。それに運用中の誤判定を運用者が認知する過程を考えな。スタッフが見てて即時対応できる体制ならAI不要だし、そうでないなら親切な報告者が現象確認して報告するまで対応されない。攻撃者は報告などしない。ファームの更新まで待ってたらバカみたいに時間がかかるが、攻撃の意図があるならその間に犯行を終える。
0
m232796 @m232796 2020年12月27日
denullpo 手作り系は人間的な条件使うので理解不能な誤認識は起きない。よく見ればこれはたしかにそう読める、みたいなものにしかならない。誤認識の発生構造が全く違う。だから危惧されてる。 denullpo おう、テスラやウーバー、AIでの手配犯検出を検討・運用してる連中に言ってやれ。前者は既に人死んでるし、後者は手配犯を見逃す余地が増える。自動運転は人間が監視する前提で監視サボった運転者が悪いと言ってはいるが、人間が何もせず承認だけしてると問題を見落とすってのは昔から知られた事実だ。
0