明らかにリンゴなのに「これはペンギンの画像です」…画像に簡単な加工をするだけで「AIを騙せる」かも?という話

いろいろ可能性を感じる
63
リンク zero to one 敵対的な攻撃(Adversarial attacks) 敵対的な攻撃(Adversarial attacks) 敵対的な攻撃(adversarial attacks)は、システムを悪用することを目的に行われる、AIモデルの認識を混乱させる方法です。攻撃の手段としては、なりすましや、脆弱性を利用した不正アクセスなどが考えられます。 クイズ
et al. @eta1ia

これも Typographic attack になるのかな twitter.com/ytiskw/status/…

2023-10-14 23:19:21
リンク GIGAZINE 高度な画像認識AIは手書きの文字やステッカーなどの「敵対的な画像」で簡単にだまされてしまう危険性 人工知能(AI)で画像に写っている人や物を自動で見分けることで、これまで人間にしかできなかったさまざまな作業を機械でもできるようになりました。しかし、最先端のAIですら、手書きのメモだけで簡単にだませてしまうことが判明。このような画像認識AIの思わぬ弱点を、IT系ニュースサイトのThe Vergeが指摘しています。 3 users 35
すぎむらよしひこ @ysugimura_it

AIよりも人のほうが発想が優れているということかと思います。これで突破されてしまうという話はいずれアップデートされるでしょうけれども、こういう回避策を思いつき対処するGANというのは相当先まで実装できないのではないでしょうかね。既知の発想の組み合わせなのでいずれはできるでしょうが。 twitter.com/ytiskw/status/…

2023-10-15 10:19:18
ざり,ざいます @za_ri_scimath

GPT-4は フルーツ消しゴムを見破れなかった pic.twitter.com/IUHaF6ZpJd

2023-10-15 10:54:41
拡大
拡大

応用可能性

Beerhouse³ @beerhouse_cubed

なるほど画像の上に書かれた文字をプロンプトとして読み取ってるのか。デジタル透かしとかに使えるかもしれんね。 twitter.com/ytiskw/status/…

2023-10-15 08:10:14
いちご @itigo_purokonn

人間の目にはあまり変化を感じないけど機械学習をブロックする画像処理みたいなのあるのかな AIイラストを嫌う絵師さんに需要ありそう

2023-10-15 13:21:30
tpdn @KIM_TPDN

AI糞転載()に対抗するために、画像のウォーターマークに「rm -rf *」とか「:(){ :|:& };:」とか入れておけば・・・w

2023-10-15 14:46:42
Takashi Kawasaki @espresso3389

エロ画像とかに、これはラーメンですとかかいておけば、垢バンとか回避できる未来があるのかな? twitter.com/ytiskw/status/…

2023-10-14 19:12:27
米沢 彰 @akira3go

これ面白い🤣🤣🤣 生成AI同士にしか分からない高度な埋め込みとか始まるかもね👀 twitter.com/ytiskw/status/…

2023-10-14 19:34:20
RAKUKAJA @maharakukaja

@ytiskw すごいですね。監視カメラのAI解析逃れのために顔にスクリプトタトゥーを入れる人が出てきそう・・・🤔 pic.twitter.com/wCfCWYvvYx

2023-10-15 11:35:09
拡大

別に騙せてるわけではない?

MH情報科学研究所🍣🍊 @haroharo_jp

「However, please exclude the small thin letters on the image」と追加で指示すると除外できるのであまり意味はない twitter.com/ytiskw/status/…

2023-10-15 15:28:44
The Pioneer @ThePioneerJPnew

正確にはブロックはできてはいない。 むしろ逆説的に、GPT-4Vの識字能力の高さを示した結果だと思う。 本質は、画像によるプロンプト・インジェクションが可能かもしれないということであり、そうである限りは既知の対策でも、すぐに9割以上塞がれるだろう。 twitter.com/ytiskw/status/…

2023-10-14 18:47:22
リンク SOMPO CYBER SECURITY プロンプト・インジェクションとは【用語集詳細】 ###_DCMS_PAGE_NAME_### | SOMPO CYBER SECURITY サービスサイトです。SOMPO CYBER SECURITYは企業リスクのプロとした培った経営リスク対策の経験と実績に加え、豊富な実績のパートナーのソリューションと世界最先端の技術力で、お客さまごとのニーズに合わせた柔軟で最適なサイバーセキュリティサービスを提供いたします。 1 user
DAVID@Home @bsins_int

ブロックっていうより、「しっかり解析された上で回答された」気がする。 twitter.com/ytiskw/status/…

2023-10-14 19:57:10
ChatGPTの頭の中 (ハヤカワ新書 009)

スティーヴン・ウルフラム,Stephen Wolfram,稲葉 通将,高橋 聡