イラストの無断AI学習の対抗策「Nightshade」とその反応

まとめました
8
mirium @numatakeja

画像生成AIに対する新たな防御ツール、Nightshade。記事の内容通りならメチャクチャ凄いぞこれ!! ・わずか100枚の”毒入り”画像を学習させるだけでSDXLの出力がほぼ完全に崩壊する ・毒は伝播する。例えば毒入りの「犬」を学習させると「ハスキー」や「狼」の出力も崩壊する Glazeへの統合が楽しみだ twitter.com/TheGlazeProjec… pic.twitter.com/uKgeJYybvN

2023-10-24 23:29:46
Glaze at UChicago @TheGlazeProject

By now, I'm guessing most have already seen the news on our new project, Nightshade. Lots of artists sharing it, but here's the article from MIT Technology Review (thank you to the wonderful @Melissahei), and a thread explaining its goals and design. technologyreview.com/2023/10/23/108…

2023-10-24 13:18:00
拡大
オクメン・オブ・ロストナンバー・オクシィ・ザ・ファイナルブラスト @okumen

画像生成AIに「毒を盛る」。アーティストの権利を守るためのツール登場 | ギズモード・ジャパン gizmodo.jp/2023/10/nights…

2023-10-29 11:44:26
リンク www.gizmodo.jp 画像生成AIに「毒を盛る」。アーティストの権利を守るためのツール登場 AIに毒を盛る秘策。アーティストが自分の作品をAIトレーニングに使用されることと戦う手段ってあるのでしょうか。それを研究している人たちがいます。シカゴ大学のコンピュータサイエンスの教授Ben Zhao氏は、彼のチームが「Nightshade」という名前のツールを開発したとMIT Technology Reviewに語っています。毒を盛った画像でトレーニングさせる作戦今のところ、アーティストがAI 45 users 31
wiiiiip @wipkun0115

NightShade早く使いたいわ

2023-10-29 07:02:42
賢木イオ@スタジオ真榊 @studiomasakaki

「nightshade」なる画像生成AI攻撃ツールが登場。自分の画像をウェブにアップする前にこのツールで「毒を盛る」ことで、毒入り画像を学習したモデルに「深刻なダメージ」を与えられるとしています。 業務妨害になる可能性もあり、さらに状況は混沌としていきそうですね… technologyreview.com/2023/10/23/108… pic.twitter.com/gLChHKdD8l

2023-10-25 06:29:25
拡大
拡大
賢木イオ@スタジオ真榊 @studiomasakaki

winny事件と同様でツールを開発するのは自由だと思うのですが(PCウイルスに関するあれこれの罪は該当しないだろうし)、仮にこれを使う人が日本で増え、日本のAI企業の作ったモデルが汚染されて金銭的損害が出た場合、民事責任などがどうなるのか気になりますね。正当な権利なのか業務妨害なのか。

2023-10-25 07:37:55
ざくろ舞@AIart @Zacro_inn

@studiomasakaki 反AI勢が嬉々として仕込みそう… 議論するより殴るの好きそうな面々だし(偏見?)

2023-10-25 08:23:36
ひかる @hika_nintendo

@studiomasakaki 非常にポジティブに考えています。 悪意のある攻撃者からの錯覚への対処、データセット汚染への対処は、必ず乗り越えないといけなかった問題です。 今ここで対処方法が研究されることにより、将来の自動運転車や警備ロボットなどに役立つかもしれません。 その機会を皆が無料で提供してくれるのです。

2023-10-25 12:33:57
気持ちを言葉にする入 @fggHrd86gKuj9cO

法律の専門家に聞いてみたいこととして、「毒をばら撒く」ことによって画像生成AIを破壊しようとする行為は、第168条の2(不正指令電磁的記録作成等)や第234条の2(電子計算機損壊等業務妨害)などに該当する可能性があるのでは?ということ。あと、その幇助や教唆に関しても twitter.com/numatakeja/sta…

2023-10-25 12:52:35
ペンギン @penpengin2023

生成AIと人の学習が同じっていう人がいるけれど、目に見えない変更程度で制御できなくなるのが生成AIの学習。人はこういったものに影響されないわけで。 生成AIが人と同じように学習するっていうならNightshade使っても問題ないってことよね。 twitter.com/penpengin2023/…

2023-10-25 17:24:08
ペンギン @penpengin2023

・Nightshadeというツール ・絵のピクセルに目に見えない変更を加えることが可能 ・Glazeに統合予定 ・生成AIモデルの脆弱性を活用→誤作動を起こす  攻撃にはある程度の量が必要 この新しいデータ・ポイズニング・ツールは、アーティストが生成AIに反撃することができる technologyreview.com/2023/10/23/108…

2023-10-24 10:50:04
だいふくAIラボ@AIイラスト @Daifuku_AI_Lab

nightshadeを賞賛してる反AIに問いたい。 お前らの描いた絵は不正指令電磁的記録作成罪を犯すための生贄として使われるべきものと本気で思っているのか お前たちは不正指令電磁的記録作成罪を遂行するために絵を投稿する、という行為を絵師として肯定できるのか。

2023-10-25 22:17:18
だいふくAIラボ@AIイラスト @Daifuku_AI_Lab

nightshade通した絵を公開する場合、不正指令電磁的記録作成罪にあたるように思うんですけど、そこんところ確認した上でnightshade勧めてますか?

2023-10-25 22:19:40
青猫 @AonekoSS

@studiomasakaki ポイズニング的な手法はリスキーですね。 不正指令電磁的記録、つまりコンピュータウイルスの一種とみなされると3年以下の懲役又は50万円以下の罰金。ブラクラ貼って掴まった例(兵庫県警のアラートループ事件)とかもあるし、検挙範囲が曖昧すぎて……(下手すりゃプログラムとデータの区別も怪しい)

2023-10-25 23:29:55
みや @miyamoyame

AIbros、Nightshadeにガチギレでサイト攻撃しようとしてて草 どんだけ都合悪いねん しかもこのスクショGlazeかかっててさらに草 twitter.com/palomamcclain/…

2023-10-26 02:03:33
Paloma McClain @palomamcclain

Lmaoooo the AI bros are seething over us protecting our work so much that they are openly planning to attack the site. Delicious pic.twitter.com/9nl7ws2q6d

2023-10-26 00:15:04
ころも🇺🇦🇯🇵 @ko6mo

Nightshadeで「毒」って表現してるけどどちらかと言えば害虫から守るための「薬」だよ。寄生して毒吐いてんのが生成AIなんだから だからオリジナルを守るNightshadeは間違いなく薬

2023-10-26 16:33:57
じごあく @zigo_aku

nightshadeやGlazeにキレてる人って「お金を増やしたいのに偽札防止加工が入ってる!」って言ってるようなものじゃない?

2023-10-26 18:37:10
木本あやめ @v_ka_

良く内容を知らないはずのNightshadeを盲信する様もモロに反ワクかな。物事をクリティカルに考えられず、自分たちにとって心地よいから無批判に飛びつく。 5Gから身を守るためアルミニウム帽子をするやつらにも似ている。

2023-10-29 06:29:01
ミズ江 @Mizue_fon

やっぱり著作物守るためなら絵に限らずNightshadeの利用は大いにアリじゃないかなあ 個人の写真まで取り込んでるようなデータが第三者に使えてしまうのが どれだけ怖い事かっていうのは色々な事件でわかってしまったよ、、、

2023-10-29 05:50:21
raptop @to67481

@fggHrd86gKuj9cO 問題なさそうですね まあ、技術の進歩を受け入れてください あなたたちAI推進派が言い続けてきたことです 将来的に手描き絵どころか毒入りAI絵も混ざり込む事になると思うので あと、同様のブロックシステムはいくつも出てくると思うので頑張って全部に対応してね twitter.com/niranegiX/stat…

2023-10-26 23:15:45
ニーラ ネギ太郎 @niranegiX

Nightshadeを使うのは業務妨害だとかウイルス作成罪だとかいう方を見かけましたが、これは画像を開いたPCを破壊するようなものではなく、複製を目的とする機械で正常に読み込めなくするという程度の保護です コピーガードの歴史は古く、前例と比較しても安心して使える物かと ja.m.wikipedia.org/wiki/%E3%82%B3…

2023-10-25 22:48:17
匿名絵描き @ragingraggahuru

Nightshade批判、マジコン対策でDS版DQ5で最序盤の船が永久に到着しない割れ対策仕込まれてて「スクエニはマジコンユーザーを客として見てない」という名言が生まれたのを思い出す

2023-10-26 23:45:45
大戸カオリ🎨🐱依頼11月納期⭕️クリエイティブV @oodo_kaori

今注目してるNightshadeってツール(絵や写真を保護してくれるらしいよ!)めっちゃいいなー! 依頼でAIにして持ち逃げされるとかVTuberさんなら勝手にAI通して他のプラットフォームでデビューされてたとか聞くからオープンソースになるみたいだし活用されてほしいー!

2023-10-27 11:19:00
ふじさわ @Adagio_di_molto

つまりしばらくトレンド入りしている『Nightshade』というのは、 画像にかぶせることで、その画像を取り込んだAIを狂わせる作用があるわけですか それで、AI絵師さんたちが営業妨害だの技術発展の阻害だのと喚いてるわけですね ホウ酸団子を食べたゴキブリの断末魔みたいだなぁ

2023-10-27 16:34:29
こじろー @kojiroh_hakurei

お!?良いモノがあるみたいだ。 著作権侵害の盗人連中に一泡吹かせてやれるみたいだねぇ・・・(イタチごっこになりそうでもあるけど・・・ twitter.com/adagio_di_molt…

2023-10-28 07:22:42
S.H.ノーマル@なんか作る @kenji_y1986

これ素人の意見ですが、nightshadeに限らず技術的保護がされている絵を強化学習した場合、“同一性のある絵を大衆に公開した時点で”著作権法30条1項2号に定める「技術的保護手段の回避による複製」に引っかかるんじゃないかなって思うんですよね 実際に裁判起きたら結構面白い判例になると思います twitter.com/studiomasakaki…

2023-10-28 13:47:12
賢木イオ@スタジオ真榊 @studiomasakaki

nightshadeは絵師さんの一番の願いであろう「私の絵を重点的に追加学習して私の絵を再現するな」という目的には使えない(DLじゃなくてスクショされたら終わり)のがなんとも皮肉な感じ。 悪質ユーザーのLoRA防止ではなく、巨大企業のAI開発やデータセット管理を面倒にする発想なんですよね。 twitter.com/studiomasakaki…

2023-10-28 12:02:22