Nightshade公式「Loraには効果無いで」

個人的な所感としては根本的にLoraを誤解しているか、知ってて虚勢を張っている気がしてならない。
5
Justine Moore @venturetwins

Nightshade - the new program designed to “poison” images and ruin models that train on them - is going great. Early attempts to use it are resulting in either no impact or models that generate BETTER images 🙃 pic.twitter.com/DZbfSteYj7

2024-01-21 08:42:29
拡大
拡大

Nightshade-画像に "毒 "を与え、その上でトレーニングするモデルを台無しにするように設計された新しいプログラム-は絶好調だ。

これを使った初期の試みは、影響がないか、より良い画像を生成するモデルのどちらかになっている🙃。

Glaze at UChicago @TheGlazeProject

@venturetwins Yeah. This is what happens when you ignore the difference between Lora and regular fine tuning. Lora mimics styles only. There is no update on the text to image feature space association. So no, you’re not going to see changes from Lora. Missing the point.

2024-01-22 00:07:23

そうだね。Loraと通常の微調整の違いを無視するとこうなる。Loraはスタイルだけを模倣する。テキストと画像の特徴空間の関連付けは更新されない。だから、Loraによる変化は見られない。的外れ。

Joe Penna @MysteryGuitarM

@TheGlazeProject @venturetwins There have also been tests with Glaze+LoRAs (example attached below). I haven't found anyone working in genAI who have been able to replicate the results on the glaze and nightshade papers with default training parameters and workflows. pic.twitter.com/IcpbJkCx2p

2024-01-22 04:56:02
拡大
拡大

また、Glaze+LoRAを使ったテストも行われている(以下に例を添付する)。

GlazeとNightshadeの結果を、デフォルトの学習パラメータとワークフローで再現できた人を、genAIで研究している人は見つけられませんでした。

Joe Penna @MysteryGuitarM

@TheGlazeProject @venturetwins Lots of artists are spending a considerable amount of effort, assuming that it protects them. At the moment, the only proof I've seen is that it adds perceptible artifacts to people's art. Happy (and hoping) to be proven wrong @shawnshan_ and @ravenben x.com/rahll/status/1…

2024-01-22 05:00:13
Reid Southen @Rahll

Nightshade is out! Nightshade poisons AI models if your art or images are taken without permission, Glaze protects you from AI mimicry. It's recommended you Nightshade first, then Glaze. A version that does both is coming. Read this thread for more info. Go get 'em 🫡 pic.twitter.com/YddNu8xmJm twitter.com/TheGlazeProjec…

2024-01-19 13:23:12

多くのアーティストが、それが自分たちを守ってくれると思い込んで、かなりの労力を費やしている。

今のところ、私が見た唯一の証拠は、それが人々の芸術に知覚できるアーティファクトを加えるということだ。

間違っていることが証明されれば嬉しい(と期待している)。
そして @ravenben

Glaze at UChicago @TheGlazeProject

@MysteryGuitarM @venturetwins @shawnshan_ @ravenben several issues there. 1. Nightshade is not a protective measure. It’s an attack. There’s no protection assumed or advertised. 2. You understand the difference between a Lora designed to minimize training cost and a full model fine tune that modifies text-image associations right?

2024-01-22 05:03:09

そこにはいくつかの問題がある。1. Nightshadeは防御策ではない。攻撃である。防御は想定されていないし、宣伝もされていない。2. トレーニングコストを最小化するためにデザインされたLoraと、テキストと画像の関連付けを修正するフルモデルの微調整の違いは理解できるよね?

Glaze at UChicago @TheGlazeProject

I understand wanting to take shortcuts using a Lora. But NS attacks the text-image cross attention layer. How does anyone hope to test that with a Lora that only trains on images alone? If ai model companies only produced Loras for their updates, then these tests would be spot on.

2024-01-22 05:05:05

Loraを使ってショートカットしたい気持ちはわかる。しかし、NSはテキストと画像のクロスアテンションレイヤーを攻撃する。画像だけでトレーニングするLoraで、どうやってテストするんだ?もし、aiの模型会社が更新のためにLoraだけを製造していたら、このようなテストはスポット的なものになるだろう...。

Glaze at UChicago @TheGlazeProject

@MysteryGuitarM @venturetwins @shawnshan_ @ravenben Training / testing these take a very large amount of time / resources. Took quite some time to do our tests on model training from scratch, and that’s with servers that cost 6 figures. If this could be verified in 48 hr by ai enthusiasts on home GPUs, then we missed out

2024-01-22 05:14:27

これらのトレーニングやテストには、非常に多くの時間やリソースがかかる。ゼロからモデルトレーニングのテストを行うのに、かなりの時間がかかった。もしこれが、家庭用GPUでai愛好家が48時間以内に検証できるのであれば、我々は失敗したことになる。