背景LoRAの学習方法についての知見

morisato @swingwings

風景写真（カラオケ屋さんとか某レストラン店内とか電車とか）を学習させた背景LoRAとか作ってるんですが、適用すると人物の描画や画風に結構な影響が出たりします。人物の描画には影響をあたえず背景の概念だけうまく適用させる方法とかご存知の識者おられないですか… pic.twitter.com/IHCbxlC485

拡大

Kohya Tech @kohya_tech

@swingwings 学習時のキャプション（プロンプト）はどのような感じでしょうか。その背景を特定のidentifierに結び付けて指定したときだけ出てくるようにするのか、それともその背景が固定で出てくるLoRAを作るのか、どちらでしょうか。それによって書き方が変わってくるかもしれません。

morisato @swingwings

@kohya_tech ありがとうございます。kohyaさんからレス頂けるとは大変光栄です。 作成したカラオケ部屋Lora（huggingface.co/morisato/scene…）では、20枚程度の写真と、WD14taggerで生成したtxtファイルにkaraokeroom, scenery, 等を記載して学習させ、LoRaを適用してプロンプトにkaraokeroomと書くことで（続

morisato @swingwings

@kohya_tech カラオケ部屋で歌ってる女の子の絵が生成出来るような感じになっています。 例えばshibuya等のプロンプトで渋谷の風景が描けたりしますが地元の町名では描けません。それを学習で可能に出来ないかな？という感じです。 先のレストランの場合、学習用素材が少ないので同じアングルに偏っていますが（続

morisato @swingwings

@kohya_tech 先のカラオケの場合だとうまく場所の概念を学んでくれてるような気がします。/学習によって写真の画風も学んだのか人物の描画にも結構な変化が出るのでそこをうまく調整する方法は無いかな？という感じです。（長文失礼致しました！）

Kohya Tech @kohya_tech

@swingwings ご説明ありがとうございます。状況はよくわかりました。shibuyaについての考察はおっしゃる通りかと思います。結果を拝見するにkaraokeroomでの学習は十分に可能なようですね。画風や人物への影響を抑える案をkaraokeを例にいくつか上げてみます。

Kohya Tech @kohya_tech

@swingwings 1.キャプションをシンプルにする。例えば"karaoke room"だけにすることで他のタグがカラオケルームに結び付けられ画風等に影響を与えることを避けます。さらに正則化画像に当該モデルで生成した他の店内画像（レストランやカフェなど複数）を"dining room"などの単純なキャプション付きで使い、

Kohya Tech @kohya_tech

@swingwings 画質が変化することを防いでもいいかもしれません。 2.WD14Taggerのタグ（"karaoke room"を含まない）でモデルで画像を生成し、それをキャプションにして正則化画像として使う。キャプションの差分である"karaoke room"に店内の様子だけでなく画風の違いも限定する意図です。

Kohya Tech @kohya_tech

@swingwings 3.1.または2.に加えて、正則化画像に1girlなどを加えたキャプションで生成した画像を使う。女の子についてはモデル本来の画風を維持させる意図です。1.や2.と混在させてもいいかもしれません。

Kohya Tech @kohya_tech

@swingwings とりあえずこんな感じでしょうか……。私も学習はあまり詳しくないので上手く行くかは全く分かりませんが、参考になれば幸いです。

morisato @swingwings

@kohya_tech ありがとうございます！ ご提示頂いた3つの手法はどれも試していないものですし、それぞれに効果がありそうな気がします。 早速ひとつずつ試してみたいと思います。またチャレンジの成果等アップさせていただきますので、ご覧頂ければ幸いです。（続

morisato @swingwings

@kohya_tech 風景の学習にチャレンジしている方はなかなかおられないですし、学習自体も色々よく分かっていない状態ですが、色々手探りでやっていきたいと思います。（続

morisato @swingwings

@kohya_tech 最後になってしまいましたが、sd-scriptsやadditional-networks等のツール、そしてnoteの一連の記事は参考になりましたし日々活用して楽しませていただいてます。本当にありがとうございます。

Kohya Tech @kohya_tech

@swingwings 参考になれば幸いです。またスクリプト類について、お役に立っているなら嬉しく思います。 キャラや画風だけでなく背景もLoRAで変えられると革命かと思いますので、結果に期待しております！