ラズパイ4も対応しているCPU超高速Stable diffusionのFastSDCPUで爆速生成AI。標準4分/枚がOpenVINOでわずか18秒/枚。お金をかけずに爆速化最高。オススメ

Kapper@Linuxガジェヲタ＆異世界小説家＆電子工作大好き @kapper1224

CPUでStable diffusionが３分ちょっとかかるので、ラズパイ4も対応しているFastSDCPUを入れたら50秒になったw OpenVINOとか入っているらしい。AMDのCPUだけどw ターミナル画面左側が普通のSD、右側がFastSDCPU これだけ速度差があるとありがたい github.com/rupeshs/fastsd… pic.twitter.com/zflPRbldt4

拡大

Kapper@Linuxガジェヲタ＆異世界小説家＆電子工作大好き @kapper1224

FastSDCPUをノートパソコンに電源を繋いでAMD 8コアCPUターボブーストでフルスピードで計算させたらトータルでわずか19.36秒という高速っぷりw 標準のStable diffusionがいかにCPUで遅いかという事が分かってしまった。 20秒以下ならGPUなくてもそこまで困らないな・・・ オススメ pic.twitter.com/sAbhkj82lP

拡大

Kapper@Linuxガジェヲタ＆異世界小説家＆電子工作大好き @kapper1224

FastSDCPUのインストールはSDと同じく sudo apt install wget git python3 python3-venv libgl1 libglib2.0-0 git clone github.com/rupeshs/fastsd… cd fatsdcpu chmod +x install.sh ./install.sh ./start-webui.sh

Kapper@Linuxガジェヲタ＆異世界小説家＆電子工作大好き @kapper1224

start-webui.shを実行するとデータやモデルを4GB〜ダウンロードするから回線注意 インストール終了したら http://127.0.0.1:7860/ でいつものWebUI画面。 あとは普通にキーワードを入れて実行するだけ

Kapper@Linuxガジェヲタ＆異世界小説家＆電子工作大好き @kapper1224

ブラウザ画面左上の LCM-OpenVino をクリックして開始ボタンを押すと、またまたOpenVINO版のデータを大量にダウンロードして実行する。通信環境注意 こちらはAMDのCPUなので時間は16.75秒と大きくは変わらないものの高速化した。 お金をかけずにここまで速くなると感動 pic.twitter.com/MfLK244Zr3

拡大

Kapper@Linuxガジェヲタ＆異世界小説家＆電子工作大好き @kapper1224

次は4分かかっていたStable diffusionの計算がFastSDCPUでわずか18.66秒 10210Uの4コアで。 これ凄まじく凄いな。 古いCPUでもこれだけ速いならGPUいらないな。 pic.twitter.com/LkSlbEAG8E

拡大

Kapper@Linuxガジェヲタ＆異世界小説家＆電子工作大好き @kapper1224

ここを読んでSDXLベースへ 速度が51秒/枚、綺麗になった LCM model　stabilityai/sdxl-turbo LCM LoRA model　latent-consistency/lcm-lora-sdxl LCM LoRA base model　stabilityai/stable-diffusion-xl-base-1.0 LCM OpenVINO model　rupeshs/sdxl-turbo-openvino-int8 ncos1.hatenablog.com/entry/2023/12/… pic.twitter.com/DIvpRV8mH9

拡大

拡大

Kapper@Linuxガジェヲタ＆異世界小説家＆電子工作大好き @kapper1224

Steam DeckとUbuntu23.04とFastSDCPU 動画を取ってみた 12.83 秒程度。CPUだけども速い pic.twitter.com/aaM26vWIeW

Kapper@Linuxガジェヲタ＆異世界小説家＆電子工作大好き @kapper1224

FastSDCPUをコマンドラインで起動して生成AIを省メモリ化してみた ブラウザを表示しない分だけ少ないメモリで動かせる source venv/bin/activate cd fastsdcpu pip install -r requirement.txt cd src python app.py --prompt cute,girl,anime --inference_steps 4 pic.twitter.com/PUzEv1cn4T

拡大

Kapper@Linuxガジェヲタ＆異世界小説家＆電子工作大好き @kapper1224

コマンドラインならzshのrepeatコマンドで繰り返し動かせるからfastsdcpuでも放置プレイOK sudo apt install zsh zsh repeat 5 python app.py --prompt "NetBSD" など応用可能。複数コマンドを繋げる事も可能