AndroidタブレットにTermuxとUbuntuを入れてローカルでCPU超高速Stable diffusionのFastSDCPUで爆速生成AI。標準25分/枚がLCMでわずか90秒/枚。メモリ14GB推奨。お金をかけずに爆速化最高。オススメ

Kapper@Linuxガジェヲタ＆異世界小説家＆電子工作大好き @kapper1224

という事でAndroidタブレットで超高速Stable DiffusionのFastSDCPUを動かして画像生成AI。通常25分→1.5分まで速度短縮。普通に動かせるレベルまで改善。LCMの力は凄いね。メモリは最低14MBは必要。スワップ推奨。 pic.twitter.com/gUa1m8grKI

拡大

拡大

Rupesh Sreeraman @rupeshsreeraman

FastSD CPU running on my Google Pixel 7 Pro ( Termux (Android) + PRoot) :D GitHub : github.com/rupeshs/fastsd… #ai #fastsdcpu #stablediffusion #android #genai #github #python #termux #google #pixel #diffusers @huggingface @RisingSayak pic.twitter.com/uAVfQxBMxp

拡大

Kapper@Linuxガジェヲタ＆異世界小説家＆電子工作大好き @kapper1224

インストールはUbuntu ProotとStable-Diffusionと途中まで同じ。前回参照。割愛。 AndroidタブレットにTermuxとUbuntuを入れてローカルでStable diffusion Webuiを動かしてみた。メモリは512x512解像度で14GB必要でSwapがあると良い。 togetter.com/li/2287412 #Togetter

Kapper@Linuxガジェヲタ＆異世界小説家＆電子工作大好き @kapper1224

FastSDCPUのgit clone以降は公式サイトに書いてある git clone github.com/rupeshs/fastsd… cd fastsdcpu chmod +x install.sh ./install.sh --disable-gui chmod +x start-webui.sh ./start-webui.sh venvは内部で実行するからいらないのかな？

Kapper@Linuxガジェヲタ＆異世界小説家＆電子工作大好き @kapper1224

./start-webui.shを実行して http://127.0.0.1:7860 をAndroidのブラウザで開く いつものWebUIの画面が出てくるのでLCMを選択しキーワードを入れてGenerate 実行すると4GBちょっとのモデルデータをダウンロードするので回線注意。 ダウンロード失敗したらTermuxをexitして再びやり直すと良い

Kapper@Linuxガジェヲタ＆異世界小説家＆電子工作大好き @kapper1224

AndroidではまだOpenVINOは対応していない？ LCMで動作するモデルはまだ限られている メモリ節約したいからCLIモードで使いたいが操作方法が不明 GPUが動かせるならもう少し半分くらいに高速化出来るはず？ 作者様のGoogle Pixel 7 Proなら69.76秒だったらしい

Kapper@Linuxガジェヲタ＆異世界小説家＆電子工作大好き @kapper1224

AndroidタブレットでFastSDCPUを動かして動画撮影した。待ち時間が比較的ありますが動いてます。 計算中はブラウザを表示するよりTermuxを表示したほうがメイン画面にCPUを優先させるらしく計算が速くなります。 逆にマルチアプリ画面だと遅くなりますので注意 pic.twitter.com/CrydKB83xR

Rupesh Sreeraman @rupeshsreeraman

@kapper1224 @kapper1224 Can you do a git pull on the master branch, then "./install.sh --disable-gui" then you can use webui

Rupesh Sreeraman @rupeshsreeraman

@kapper1224 github.com/rupeshs/fastsd…

Kapper@Linuxガジェヲタ＆異世界小説家＆電子工作大好き @kapper1224

Stable diffusionやFastSDCPUをコマンドラインでエロ呪文を使って、エンドレスRepeatでエロ画像生成し続けるアホなヤツが沢山でそうだなw だって簡単すぎるもんw GPUやXすら不要w zshとrepeatでとにかく動かし続けるだけ（ぉぃ pic.twitter.com/gcVROSWEDh

拡大

Kapper@Linuxガジェヲタ＆異世界小説家＆電子工作大好き @kapper1224

OpenBLAS warning in FastSDCPU,Termux and commandline pic.twitter.com/fanb8zy7Zm

拡大

拡大

Martin Kroeker @KroekerMartin

@kapper1224 your application makes BLAS calls from an omp parallel region, but your OpenBLAS was built without OpenMP support, just using pthreads. this means each parallel thread will start as many openblas threads as possible, and the two don't know of each other

Martin Kroeker @KroekerMartin

@kapper1224 export OPENBLAS_NUM_THREADS=1 (or maybe 2 if you feel lucky), or better use a libopenblas that has been built with USE_OPENMP=1

Kapper@Linuxガジェヲタ＆異世界小説家＆電子工作大好き @kapper1224

@KroekerMartin Thank you very much. I use the command, export OPENBLAS_NUM_THREADS=1 after not show the error. Android Tablet can use FastSDCPU in Terminal. pic.twitter.com/XCPIgngPMF

拡大

Kapper@Linuxガジェヲタ＆異世界小説家＆電子工作大好き @kapper1224

Androidタブレットでも無事にFastSDCPUがTermux+Ubuntu+ターミナル版が動作しました。 基本的には同じなんですけど、app.pyを実行する前に export OPENBLAS_NUM_THREADS=1 を実行する必要があります。 詳細は次で

Kapper@Linuxガジェヲタ＆異世界小説家＆電子工作大好き @kapper1224

Androidターミナル版事前インストールは同じ source venv/bin/activate cd fastsdcpu nano requirement.txt エディタで#PyQt5　コメントアウト pip3 install --upgrade pip pip3 install -r requirement.txt cd src export OPENBLAS_NUM_THREADS=1 python app.py --prompt ”girl"

Kapper@Linuxガジェヲタ＆異世界小説家＆電子工作大好き @kapper1224

zshでリピート生成したい場合 apt install zsh zsh export OPENBLAS_NUM_THREADS=1 repeat 10 python3 app.py --prompt "NetBSD" 2つコマンド繋げてもよい repeat 10 {python3 app.py --prompt "NetBSD"; python3 app.py --prompt "OpenBSD"}

Kapper@Linuxガジェヲタ＆異世界小説家＆電子工作大好き @kapper1224

Androidでも生成した画像ファイルは ~/fastsdcpu/resultsに保存されるのでAndroidのどこかにコピー cd ../results cp *.png /sdcard/DCIM/ みたいな感じでAndroidの/sdcard以下に保存すればファイラーでも開けるので、Androidで生成AI画像を堪能出来る

Kapper@Linuxガジェヲタ＆異世界小説家＆電子工作大好き @kapper1224

AndroidタブレットでターミナルFastSDCPUのメモリ消費量を測定 本体　11.47GB 実行前　9.51GB 実行中　6.32GB なので理論上は6GBメモリあれば動くはずだがキャッシュを無視してるので落ちない自信ない。理論上のデータは信用出来んのでSwap入れて余裕あるといい pic.twitter.com/N3UQLgpnkD

拡大

拡大