AIイラストを複雑な呪文で生成する時代は終わるかも？構図やポーズを指定して画像生成できる『ControlNet』という機能が登場

うみゆき@AI研究 @umiyuki_ai

はい、ゲームエンド。ハッキリ言ってControlNetの登場によって、今までの画像生成での複雑な呪文を試行錯誤してガチャ引きまくって何とかするパラダイムは試合終了しました。これからはプロンプトフリーになって、ボーンで直接構図やポーズを指定するAIレンダリングのパラダイムの始まりや pic.twitter.com/st4tJMZIfo

拡大

mobile_neko @mobile_neko

@umiyuki_ai 2〜3年後にはこんな感じになるんだろうな。と数ヶ月前に思っていたやつだ。

だだっこぱんだ🍞 @ddPn08

ControlNetバカ面白い ボーン情報から完璧にポーズ指定できる pic.twitter.com/cOP9aZiwVU

拡大

拡大

らけしで @lakeside529

ControlNetやばすぎ 控えめに言って革命でしょこんなの ⬅️入力ポーズ（クリスタの3Dデッサン人形）　 出力画像➡️ #AIイラスト pic.twitter.com/UcG82UW9eb

拡大

拡大

千桐@Leiria @leiria_vilarne

AI画像生成のControlnetとかいうやつ、棒人間が書ければ構図が決まるので便利 本気出す人はBlenderやらデッサン人形のポーズ機能だろうけどこれもお手軽便利 1→2枚目、3→4枚目 pic.twitter.com/11vVEQP7nk

拡大

拡大

拡大

拡大

だだっこぱんだ🍞 @ddPn08

デザインドール -> openpose -> StableDiffusion やばやば、かなり良い pic.twitter.com/PRWGuQPOzH

拡大

拡大

拡大

だだっこぱんだ🍞 @ddPn08

絶対間違ってるControlNetの使い方。 割と変なポーズでもいける🙃 創薬ちゃんごめんなさい。おもしろすぎる。 #AIArt #AIイラスト pic.twitter.com/tONW9N5Pdg

拡大

拡大

だだっこぱんだ🍞 @ddPn08

ControlNetの使い方についてかなりざっくり書いてみたよ #AIArt #AIイラスト note.com/ddpn08/n/n7fce…

PROTO@AiArt @proto_jp

で、このボーンデータを使って生まれたのがこの ぼっちちゃんってわけ #AIイラスト #AIart #ControlNet pic.twitter.com/LxEgsds3bv twitter.com/umiyuki_ai/sta…

拡大

ティキ - AIイラスト術師見習い、エンジニア - @tiki_magia

ControlNetを使えば、StableDiffusionのコントロールを追加できる。例えばポーズで指定できるようにするとこれ。タグはgirl extreamly detailed, best qualityとネガだけ。 あくまでも一例で、学習させれば色んなコントロール方法を追加可能 pic.twitter.com/1giv0uj7cd

拡大

まっくす @minux302

入力画像を変換するタスクを Diffusion モデルで解く ControlNet についての解説記事を書きました。画像のような線画 -> 着彩のタスク等を解くことができます。 新時代の pix2pix？ ControlNet 解説｜まっくす zenn.dev/minux302/artic… #zenn pic.twitter.com/wNJhH4poyJ

拡大

拡大

TCみんぺい @cucscspr

ControlNet、論文ではポーズだけでなく、領域指定生成、線画着色、落書き清書、指の指定、法線マップに深度マップといろいろやってて汎用的な手法なので、「これはできないの？」というのはたぶんそのうち出来る arxiv.org/pdf/2302.05543… pic.twitter.com/1Bd9WgzIMn twitter.com/umiyuki_ai/sta…

拡大

拡大

拡大

拡大

へすいちゃん @hesui_channel

普通の img2img だと絵を全部溶かしてから再構築するので自分の絵で無くなったり崩れたりするんだけど、AUTOMATIC1111+ControlNet は主線や輪郭を強く残しつつAI画生成する奴だったので線画の色つけやラフ絵の半自動仕上げができて自分の絵も残る。すごい pic.twitter.com/ltaXAIC7LT

拡大

拡大

拡大

へすいちゃん @hesui_channel

元の絵の崩れが直って可愛くなっているところに打ちひしがれたりもする

なつきちゃん @natukichanFV

ちょっとまって昔の線画をControlNet canny Scribble Mode (Reverse color)で着色したらめっちゃ良くなったんだけど、色塗りもうしなくてもいい？？ pic.twitter.com/hlbjHi7dY6

拡大

拡大

なつきちゃん @natukichanFV

この塗りは数秒では出ないんよ…

なつきちゃん @natukichanFV

ドリルの間とか若干おかしいところあるけど、ちょこっと手直ししたら全然いける

なつきちゃん @natukichanFV

線画ちゃんと描いたら各所で点々ってなってるとこなくなって、完璧になりそう pic.twitter.com/PX82Ruvqvk

拡大

拡大

なつきちゃん @natukichanFV

斧はちょっと難しい ControlNet canny Scribble Mode (Reverse color) #AIイラスト pic.twitter.com/ld8AXNdNF6

拡大

拡大

なつきちゃん @natukichanFV

ただ投げるだけじゃなくて、プロンプトで各パーツとかクオリティの指定は必要だけどね