【艦これ】画像生成AIが学習元のサインまで復元してしまう

サガシモノカモ @sagashimonokamo

1年前、艦隊これくしょんのプロンプトで出力してるとえびふりゃさん(@ ebihurya332)のサインが出てくるという噂があった。 その時はプロンプトの指定で出てくるという話だったが。 今になってV3で検証、10回やって全部出てきた。 昔は読めなかったIDも鮮明に読めるようになった。 やってるねえ pic.twitter.com/ORu3bXk5Kr

拡大

サガシモノカモ @sagashimonokamo

強調{}が問題であるという意見があったので補足。 無くても出ます。 10回出力して全てに再現されました。 サインを書かれている絵師様なら別の方でも再現可能です。 サインは１０枚の内鮮明なものを参照。 プロンプト 1girl,ebifurya,kantai collection ネガティブプロンプト 無し pic.twitter.com/qFssVWF2QA

拡大

拡大

ヨモギ @aoino2701851935

@sagashimonokamo これはサインが出てくること自体が問題というよりは、サインが出ることから見えてくる画像全体の作られ方、ないしは生成AIの仕組みが本当に真っ当なものなのか？という視点で見て欲しい事案ですね 問題を追っている人にとっては今更ですが

トロ @torro_o

おれAIよく知らないんだけど、作者の名前で指定したらその作者ぽい絵とサインが生成されるのはAI界隈？からしたら普通なんだね、よく知らない俺からしたら不思議な感覚だわ 人の絵柄パクって人のサイン入れてもAI生成なら許されるのか 人間がやったら絶対許されなさそうだけど twitter.com/sagashimonokam…

Tokumi @tokumindesuw

名前入れればそりゃあ作者の名前でるとか言ってんのいるけどじゃあ田中太郎を強調すりゃあ田中太郎のサインがでるんか？出ないやろ 結局無断で画像盗んでぐちゃぐちゃに復元してるだけじゃねーか twitter.com/sagashimonokam…

‎🤍. @Riru_UruUru

「こんなのこの件だけ‼️それでも機械は人間と同じ学習をしている‼️‼️」と未だ妄想の中にいる人には見えてないであろう画像を… 本当に同じならロゴやらは絶対生成しないと思うんだけどなぁ… NAI3出てから日はそこまで経ってないはずだけどなんでこんな何回もロゴやサインが鮮明に出るんだろうね？🤔 pic.twitter.com/vgbzgVgbrl twitter.com/sagashimonokam…

拡大

拡大

拡大

Simon_Sin @Simon_Sin

画像AIに特定の絵描きの絵を学習素材をして与えてたので絵柄だけではなくサインまでコピーして描くようになってしまったという話。やはりネット上にある絵を無料の学習素材として食わせるのはアカンのではないか。 twitter.com/sagashimonokam…

Simon_Sin @Simon_Sin

「皮膚がんを検出できるAIを作ろう」とAIに大量の皮膚がん患部写真を学習素材として食わせたら「画面に定規が写っている画像を皮膚がんだと判断するAI」が爆誕してしまったという事例を思い出した。学習素材となる皮膚がんの患部写真には大きさがわかるように必ず定規も一緒に写ってたんだってさ twitter.com/Simon_Sin/stat…

齊藤明紀 @a_saitoh

@takeda25 @zu2 犬と狼を見分けるAIが実は背景の雪を見てた、って事例も jp.wsj.com/articles/SB101…

天崎天織 @maori_amazaki

AIは結局クソコラって事なんだよなー 人間が学習しているなら絵なのかサインなのか区別付くでしょ？ この辺が人間の学習と機械の学習の差よ twitter.com/sagashimonokam…

Tixia@ @Tixia

特定の絵師を指定した場合その絵師特有の絵柄を再現するんですがこういったサインが絵本体ではなくただのサインであると学習データとしては区別していないので恐らくこのサインが「えびふりゃさん特有の絵柄」として学習されています twitter.com/sagashimonokam…

KENT @_kk_kento

グロいなこれ AI絵師とやらは絵を描くことを学習させてると思ってたはずが当の生成AIからしてみれば文字と絵の違いすら理解してなかった訳だ 絵を描くんじゃなく複数の線の法則性の偏りを合成して再元してる、程度の認識しかないんだろうな SAOで言ってたトップダウン型AIの限界がここで実感できるとは twitter.com/sagashimonokam…

KENT @_kk_kento

そしてその何よりも大事な学習は現行のトップダウン型AIには不可能なことで、自分達を車や包丁に見立てる人間が理解できない。会話機能があるなら口を揃えてこう言うはず ｢人間も、車や包丁より構成する物質情報が多いだけなのにどうして道具じゃないの？どうして壊れちゃいけないの？｣

いもじん @Z1qvl4sJisLOLZR

サイン消せば合法とか言ってるすげえのわいてますけど、トレパク以上無断掲載自作発言レベルの最低行為ってわかってないんですかね？ twitter.com/sagashimonokam…

goking／山田剛毅 @goking5

これの何がヤバいのか理解してない人が生成AI使ってるのがヤバい。この作者さんが学習された絵は多くても数十枚から数百枚だと思うんだけど、その程度の学習量でほぼ完璧なサインが復元出来てしまうってことは児童ポルノを含む違法画像だって復元出来る可能性があるってことだよ。 twitter.com/sagashimonokam…