超省メモリQ4.0量子化Stable-diffusion.cppを使ってたった4GBしかメモリがないFire Max 11とTermuxで画像生成AIを動かした。swap 900MB入れてなんとか持ちこたえてる。メモリの少ない機種の人に特にオススメ。NetBSDでも動いた！

Kapper@Linuxガジェヲタ＆異世界小説家＆電子工作大好き @kapper1224

超省メモリQ4.0量子化Stable-diffusion.cppを使ってたった4GBしかメモリがないFire Max 11とTermuxで画像生成AIを動かした。swap 900MB入れてなんとか持ちこたえてる 1ステップ169秒と遅すぎてワロタ。 メモリの少ない機種の人に特にオススメ pic.twitter.com/Rb1vWVlDgM

拡大

Kapper@Linuxガジェヲタ＆異世界小説家＆電子工作大好き @kapper1224

Stable-Diffusion.cppのインストール方法は本家とこちらを参考。先駆者に感謝 llama.cppを参考にC/C++で書かれたプログラム 特徴はモデルを量子化して少ないメモリで動く cmakeだけなので*BSDでも動くはず でも本家と同じくらいか少し遅い viet.im/blog/running-s… github.com/leejet/stable-…

Kapper@Linuxガジェヲタ＆異世界小説家＆電子工作大好き @kapper1224

Stable-Diffusion.cppのメモリ消費量は本家を参考に Q4.0でだいたい2GBメモリ これに皆さんのOS他が乗っかかって追加して4GB前後 WebUIを使うともうちょっとメモリを食うので注意 出来ればSwap欲しい pic.twitter.com/KjiLJm5o7X

拡大

Kapper@Linuxガジェヲタ＆異世界小説家＆電子工作大好き @kapper1224

AndroidとTermuxでStable-Diffusion.cppのインストール apt install git cmake rust tur-repo python-pandas python-torch python-pip git clone git clone --recursive github.com/leejet/stable-… cd stable-diffusion.cpp 続く

Kapper@Linuxガジェヲタ＆異世界小説家＆電子工作大好き @kapper1224

インストール続き モデルをダウンロードもしくはPCからコピー curl -L -O huggingface.co/CompVis/stable… mkdir build cd build cmake .. cmake --build . --config Release 続く

Kapper@Linuxガジェヲタ＆異世界小説家＆電子工作大好き @kapper1224

インストール続き 必要であればダウンロードしたモデルの量子化 ./bin/sd -M convert -m ../models/sd-v1-4.ckpt -o ../models/sd-v1-4.q4_0.gguf -v --type q4_0 モデルはcmakeの関係でbuildに置かない方が良い

Kapper@Linuxガジェヲタ＆異世界小説家＆電子工作大好き @kapper1224

TermuxでStable-Diffusion.cppの実行 ./bin/sd -m ../sd-v1-4.q4_0.gguf -p "1 girl,cute,anime,elf" データはoutput.pngで保存。上書きされるので名前を変えて移動して保存 cp output.png /sdcard/DCIM/SD1.png など。でAndroidの画像ソフトで見れる

Kapper@Linuxガジェヲタ＆異世界小説家＆電子工作大好き @kapper1224

ファイル名を付けるには-o ファイル名 でオプションで指定する メモリが足りない場合はAndroidアプリの[SWAP - No ROOT]を使う。広告ウザいが900MBまでSwapをマウント出来た。もうちょっと欲しい所だが・・・

Kapper@Linuxガジェヲタ＆異世界小説家＆電子工作大好き @kapper1224

TermuxでもシンプルなアプリなのでprootやUbuntuはいらない。容量節約。 遅いのは仕方がないがLCM-LoRaが使えるのでステップ数低減は可能らしい。逆にいうとメモリがあればOpenBLASやOpenVINOなどを使ったFastSDCPUの方が圧倒的に速い。もう少し研究が必要

Kapper@Linuxガジェヲタ＆異世界小説家＆電子工作大好き @kapper1224

Comet-LakeノートPCで動かすとこんな感じ 20ステップ600秒前後でちょっと遅いかも。 PCでこれだとARMのAndroidだともっと遅い。 速さや綺麗さを求めるならモデルの調整や高速化技術の導入が必要かも pic.twitter.com/9BFpO10xJx

拡大

Kapper@Linuxガジェヲタ＆異世界小説家＆電子工作大好き @kapper1224

4GBメモリのFire Max11でもStable-Diffusion.cpp完遂 落ちずによく耐えた しかし3632秒は草 1時間かよ… pic.twitter.com/5P1LqTTMCz

拡大

Kapper@Linuxガジェヲタ＆異世界小説家＆電子工作大好き @kapper1224

Qemu上のNetBSDでもStable-Diffusion.cppがビルド出来た。必要なのはビルド環境とcmakeくらい。 簡単すぎる。良いね ついにNetBSDも画像生成AIの世界へようこそ。 後はモデルをダウンロードして実行するだけ curl -L -O huggingface.co/CompVis/stable… だれかPkgsrc-wipに入れてください。最高です pic.twitter.com/urZ1zc3CUy

拡大

Kapper@Linuxガジェヲタ＆異世界小説家＆電子工作大好き @kapper1224

モデルをダウンロードしてNetBSDでStable-Diffusion.cpp動作中。問題なし よいですよ、*BSDの皆さん C/C++で最高ですよ pic.twitter.com/goOBszPrOH

拡大

Kapper@Linuxガジェヲタ＆異世界小説家＆電子工作大好き @kapper1224

NetBSDでも無事Stable-Diffusion.cpp動作確認 マルチプラットフォームとして非常に有望です 計算が遅いのはエミュレータ上だということで pic.twitter.com/SX21boqcmq

拡大