SDwebUIのControlNetとは？導入方法のツイートまとめ

forasteran @forasteran

@Deyoyoyo 「ControlNet(pose2image)」のwebui拡張！ pose2imageというポーズや構図が継承できる奴 （あったんじゃなくて数時間前にリリースされたｗ） github.com/AUTOMATIC1111/… pic.twitter.com/p4xdwosvNL

拡大

拡大

Lu:Na:Clock @clock_luna

ControlNetくん恐ろしすぎでは・・・ｗ

Lu:Na:Clock @clock_luna

SD-WebUI-ControlNetのお試し とりあえずPreprocessorとモデルはopenposeを指定しました ちなみにt2iでポーズ指定は一切してません 1枚目　 ：参照元画像 2枚目　 ：1枚目を元にinputされた画像 3・4枚目：実際に生成出来た画像 #automatic1111 #AIイラスト #AIart pic.twitter.com/xnajuVkfxy

拡大

拡大

拡大

拡大

Lu:Na:Clock @clock_luna

WebUIのSD-WebUI-ControlNetについて ・どんなもの？ 元画像からボーンや輪郭を認識し、それらを参照してt2iで出力できる ・どんな時に使う？ 実写や（AI）イラストなどから、似た構図を出力したい時 今回は1枚目→2枚目にする工程を解説します（リプに続きます #automatic1111 #AIイラスト #AIart pic.twitter.com/XxMHKUcn6B

拡大

拡大

Lu:Na:Clock @clock_luna

導入方法は？ 下記URLのCloneからURLをコピー（1枚目）→WebUIのExtentionのInstall from URL張り付け（2枚目）インストールし、Apply and restart UIをします（3枚目） まだあるので次リプに続けます github.com/Mikubill/sd-we… pic.twitter.com/Md07TCFrTn

拡大

拡大

拡大

Lu:Na:Clock @clock_luna

Pythonのcv2 library（OpenCV？）も必要なので、インストールされていなければコマンドプロンプトから以下コマンドを打ってEnterを推します pip install opencv-python インストール自体はすぐ終わると思います pic.twitter.com/k1OKHN33ZJ

拡大

Lu:Na:Clock @clock_luna

・インストール出来た！けどModelに何も出てこなくて使えないよ？ インストールは出来ましたが、実はまだこれだけだと導入が終わってません（1枚目→2枚目のようにしたい） 簡単に言うとボーンや輪郭を認識するために学習モデルがないと使用できません 次からはその導入法に進みます pic.twitter.com/VxijIFr2Sf

拡大

拡大

Lu:Na:Clock @clock_luna

学習モデルはこちらのURLにあります ここからExtentionのPreprocessorに合わせたモデルが必要になります（知識ないのですみませんが、PreprocessorとModelが異なるものでも動くかはよく分かりません・・・） 今回はPreprocessorをopneposeにするという例で進めていきます huggingface.co/lllyasviel/Con… pic.twitter.com/66c58PMjZs

拡大

Lu:Na:Clock @clock_luna

先ほどのURLから「control_sd15_openpose.pth」をDL→sd-webui-controlnetのmodelsに当該ファイルを入れます 先ほど本体はインストールしてるので、WebUIのフォルダ→Extentionsの中にあるはずです（普段何GBもあるモデルを入れるmodelsフォルダとは違うので注意） pic.twitter.com/L4Qo7qK1fk

拡大

Lu:Na:Clock @clock_luna

念のためWeBUI本体を起動し直します 出来たらt2iの画面下部にあるControlNet→Refresh modelsをクリックします すると導入したModelからモデル分選択出来るようになる、opneposeが含まれたものを選択します また、初期状態では機能が無効になっているのでEnableにもチェックを入れます（2枚目の状態） pic.twitter.com/WdrFlceJPV

拡大

拡大

Lu:Na:Clock @clock_luna

これでようやく導入は終わりです ちなみに英語ですが導入方法はサイトに記載してあるので、詳しく見たい方はそちらをどうぞです（自分はブラウザの日本語翻訳噛ましながら確認してました） 次からは使用方法です github.com/Mikubill/sd-we…

Lu:Na:Clock @clock_luna

・やっと導入出来た・・・使用方法は？ 先ほどの画面からちょっと下を見ると画像参照できる場所があるので、赤枠内をクリックするかドラッグ＆ドロップして参照させたい画像を選択します 出来たら2枚目のようにその画像が表示されます （Open drawing canvas!で1から描けますが今回は触れません） pic.twitter.com/mbfmHGYv0K

拡大

拡大

Lu:Na:Clock @clock_luna

出来たら普段通りt2iで生成します プロンプトはポーズ指定が無い方が効果が分かりやすいと思います Canvas Widthなどサイズが気になりますが、そのままでも特におかしなことなく動きました（もしかしたらちゃんと指定した方が良いかもです。Open drawing canvas!で手描きするなら指定した方が良い？） pic.twitter.com/eiKKY08yzx

拡大

Lu:Na:Clock @clock_luna

するとある程度参照元画像と似たような構図が出てくると思います また、認識されたものの画像（2枚目）も一緒に出てきますがこちらは自動的に保存「されません」 ※WebUIの設定も確認しましたが保存するような項目は見当たりませんでした pic.twitter.com/K8hyeQOjFp

拡大

拡大

Lu:Na:Clock @clock_luna

後はt2iしたものをサイズ引き上げしながらi2iします サイズは元画像の1.8倍の806×1382、ノイズ除去強度は0.75にしました i2iはもう好みでやっちゃって大丈夫です pic.twitter.com/1VHiJqiUUX

拡大

Lu:Na:Clock @clock_luna

（念のため2:31現在アプデしたらまた新しい項目増えたりしてるので挙動確認します、少しお待ちください）

Lu:Na:Clock @clock_luna

生成過程自体は以上です ・・・がアプデが入ったので確認したところ、項目が増えていました Low VRAMはVRAM容量少ない方向けの設定なので一回チェックなしでやってダメな人は試すと良さそうです Resize MpdeはひとまずScale to fitを使ってます（ここは今後変わるかもしれません） pic.twitter.com/doL6velxGM

拡大

Lu:Na:Clock @clock_luna

また、アプデ前はHires. fixが出来なかったのですが修正されて出来るようになっていました（t2i→i2iで解説してたのはこのためです） 試しにstrengthを0.55でHires. fixしてみたところ、普通にいい感じになりました ポーズがずれ始めてますが、この辺りはプロンプトで補強すれば良いかと思います pic.twitter.com/k9Qy91ElkI

拡大

Lu:Na:Clock @clock_luna

長くなりましたが以上になります 長文でしたが読んでもらいありがとうございました 今回はopenposeで解説しましたが、他にも使用できる学習モデルはあります（人によってはこちらが本題かも） 試しにhedを例にしたものもあるのでよければ下記ツイートも参考にしてくださいな twitter.com/clock_luna/sta…

Lu:Na:Clock @clock_luna

openposeの利点を書いていませんでした 実写からでもポーズのみ参照できる点が利点です（i2iだと違う要素ももってきてしまう、何よりt2iで出来るのが差別点） ただものによっては満足に再現できない可能性もあるので、そういう場合は直前のリプの例のように違う学習モデルを使うのが良さそうです

Lu:Na:Clock @clock_luna

これで本当の最後です 各学習モデルの違いなどは別GitHubのURLなのでモデルが存在しなかったり指定出来ないかもしれませんが、こちらが参考になると思います 翻訳噛ませれば雰囲気は分かると思います github.com/lllyasviel/Con…