【セルフ】画像生成とフェイクに関して思う色々

画像生成に関して思ったことを考えながら随時書いた。文章構成はまとまってないと思う。
2

注意点:
最初のテーマは「写真の生成」ですが、部分的に「絵の生成」に関して触れているので少し読みにくくなっています。
たとえば、画材=カメラというように適宜意味を汲んでお読みください。

御子神アイリス(MI-23) @ShionAmasato

AIによるフェイク写真問題、具体的な要素のない写真ほど怪しいとは言えそうだ。 例えばだけど路線バスが写った写真であれば、会社名やナンバープレートがおかしかったらバレる。 お店の看板とかもそう。 漠然とした自然とか家とかしか写ってない写真は疑わしい確率が高そう

2022-09-27 21:28:18
御子神アイリス(MI-23) @ShionAmasato

件のフェイクツイートは「ドローン撮影」という実在する手法を挙げて遠くから見たような景色に「もっともらしさ」を与えているけど、今後は撮影に使ったドローンの機種名とかを問いつめた方が良いのかもしれない

2022-09-27 21:30:48

注:
「件の」とは静岡県の水害に関する捏造写真がツイートされた事案をさす

御子神アイリス(MI-23) @ShionAmasato

あとは反射するオブジェクトを見て判別するという方法が一つ有効な策として使われてるし、AIの原理上はそれを欺くのは難しいからしばらくは効くと思う

2022-09-27 21:35:31

注:
「それを欺くのは難しい」=「(反射を正しく描いて)人間を欺くことは難しい」という意味

御子神アイリス(MI-23) @ShionAmasato

AI画像生成は 基本的に「学習データを元に、含まれる特徴を指示に応じた割合で混合して合成する」のであって「写っているものがなぜそうなってるか」という理由を考える機能はないから、単純に学習データの量を増やしたりするだけでは完璧に反射を理解することはできないのよね

2022-09-27 21:38:31
御子神アイリス(MI-23) @ShionAmasato

その点ではAI画像生成に対する「雰囲気でごまかしてるだけ」みたいな否定的な論調は大体あってる 人間が描く絵との埋められない違いは「特徴の合成ではなく意図や原理に基づいて描けるかどうか」ということ

2022-09-27 21:40:50
御子神アイリス(MI-23) @ShionAmasato

今のところ(あくまで全体生成に限り、実在の写真の一部を改変する技術は別)「誰が見てもバレない合成画像」は作れないので安心なんだけど 「絵の特徴」ではなく「描き方」を覚えさせて、絵を描くプロセスを疑似的に実行させて生成する技術が出来たらもう「誰が見てもバレない」は実現可能になる

2022-09-27 21:50:43
御子神アイリス(MI-23) @ShionAmasato

現時点でも画家の名前や技法の名前を指定することはできるけど、学習してるのは「その画家・技法によって得られる画像の特徴」であるのに対し、本当に「描き方」そのものを再現し始めたらもう終わりよ

2022-09-27 21:52:26
御子神アイリス(MI-23) @ShionAmasato

「描き方」そのものを学習させて生成するなら ・人の身体の特性 ・画材の特性 ・物理法則 とかそういう情報を食わせる形になって、まあ物理シミュレーションみたいな世界にはなると思う

2022-09-27 21:54:50
御子神アイリス(MI-23) @ShionAmasato

反射とか金属光沢を演算して カメラの光学的な法則も演算して カメラを構えてる人間のブレ方を物理演算して… そういう仕組みで写真を生成するツールがもしできたらヤバい

2022-09-27 22:00:15
御子神アイリス(MI-23) @ShionAmasato

というより、反射や光沢を考慮して画像を作る技術は既にあるわな(気づけよ) そこに「呪文を解析してそれにそぐうものを作る仕組み」が連結してないだけで、そのうち来るかもしれない

2022-09-27 22:03:55

※反射や光沢を考慮して画像を作る=CGにおけるライティングのような概念のこと

以下は「もし、入力した文章をAI解析したうえで、CGのように1つ1つの物体(概念ではなく具体的な物体)を意図して配置する技術ができたとしたら」という仮定に基づき、現状の「人力で制作するCG」と対比している。
言葉に応じたストラクチャの生成はすぐには発明されなさそうだけど、10年後とか30年後にはあるかもしれない。

御子神アイリス(MI-23) @ShionAmasato

つまり、 今:人力で光源の場所や色などのパラメータを設定 今後:文章で入力して勝手にいい感じに調整する そうなればもう実現できるわけね

2022-09-27 22:05:16
御子神アイリス(MI-23) @ShionAmasato

写っている1つ1つの物体に関しても同様で 人の手でストラクチャを作成してたのが 文章に応じていい感じに生成されるようになったらエグい

2022-09-27 22:12:48
御子神アイリス(MI-23) @ShionAmasato

今思ったけど、既存の(人が作った)ストラクチャを、文章で指定した通りに配置する技術 なら普通に今でも作れるんじゃない? それが出たらフェイクの難易度が下がりそう。

2022-09-27 23:44:33
御子神アイリス(MI-23) @ShionAmasato

たとえばだけど、既に車とか道路とか標識のストラクチャが一式揃ってるとして 「晴れた昼間に片側1車線の道路を走る西武バス」みたいな呪文を入れるとその通りのCGができるみたいなの、できそう

2022-09-27 23:46:45

※単に近隣を走ってるバス会社を思い浮かべただけで、深い意味はありません

御子神アイリス(MI-23) @ShionAmasato

もしそういうツールが出てきたら ・光源の違和感 ・大きさのバランスがおかしい と言った問題が消えるので 景色が実在するかどうかを真剣に検証しないと見抜けなくなる危険はある

2022-09-27 23:51:20