CPUだけでも使えるフリーの量子化省メモリローカルLLMのllama.cppで画像をAIに読み込ませてみた。オフラインでも使える。ジャンクノートPCでおけ。LLM禁止職場に最適。大変素晴らしい。メモリは8〜16GB程度必要。

時間はかかりますがCPUだけでもAIで画像認識できました。アナログ計器をAIで文字化出来ればIoT代わりに面白いのですが。使い方は千差万別。
13
Kapper@Linuxガジェヲタ&異世界小説家&電子工作大好き @kapper1224

東京タワーの画像をllama.cppで読み込ませてみたら 「これは日本の大阪の夜景の写真です。〜」 なんて言いやがった。ワロタ llama.cppはCPUでも量子化モデルを動かせてLLAVAの機能が取り込まれている。凄いね 面白い。しかしトータルタイム422546.91 ms。おせー pic.twitter.com/f5aTnRLXdR

2023-12-03 20:14:02
拡大
Kapper@Linuxガジェヲタ&異世界小説家&電子工作大好き @kapper1224

llama.cppで画像を読み込ませる方法はこちら。先達者に感謝 大元のLLAVAはGPUがないと動かないのでCPUでAI推論させる場合にはllama.cppを使う必要あり マルチモーダルモデルのLLaVAをApple Silicon (M1, M2, M3) Mac で 動かす方法4つ zenn.dev/optimisuke/art…

2023-12-03 20:16:07
Kapper@Linuxガジェヲタ&異世界小説家&電子工作大好き @kapper1224

llama.cppで画像の読み込みは、llama.cppのインストールは過去にやったので割愛、 models/フォルダに、 ggml-model-q4_k.gguf mmproj-model-f16.gguf の2つをまず保存 huggingface.co/mys/ggml_llava…

2023-12-03 21:00:37
Kapper@Linuxガジェヲタ&異世界小説家&電子工作大好き @kapper1224

ネットで拾った画像を適当にllama.cppのフォルダにおいて実行 ./llava-cli -m models/ggml-model-q4_k.gguf --mmproj models/mmproj-model-f16.gguf --image tokyo.jpg -p 'これは何?日本語で答えて' 7分程度。遅いけど簡単だわ。CPUだけでも動くありがたい。 pic.twitter.com/bPvLCdBGFk

2023-12-03 21:08:25
拡大
Kapper@Linuxガジェヲタ&異世界小説家&電子工作大好き @kapper1224

NetBSDのロゴ画像をllama.cppに読み込ませてみた 回答はおばかちゃんだけどちゃんとAIが認識している pic.twitter.com/QQvRsrhuV3

2023-12-03 21:09:29
拡大
Kapper@Linuxガジェヲタ&異世界小説家&電子工作大好き @kapper1224

アナログの気圧計をllama.cppに読み込ませてIoTを・・・ デジタルの温度計の数字を読み取ってしまったw 駄目じゃんw 惜しいな pic.twitter.com/Q7EMT6r4cE

2023-12-03 21:12:14
拡大
Kapper@Linuxガジェヲタ&異世界小説家&電子工作大好き @kapper1224

なら別のアナログ計なら読み取れる? 11.3MPa?駄目じゃん大間違いw AI難しいね pic.twitter.com/Oi3f4uteZx

2023-12-03 21:40:14
拡大
Kapper@Linuxガジェヲタ&異世界小説家&電子工作大好き @kapper1224

デジタル計ならllama.cppで読み取れるか? 3350kg?ちょっと違うw 文字列が。ワロタ。 AIで認識させるの難しいね pic.twitter.com/XBLCaslrOt

2023-12-03 21:52:35
拡大
Kapper@Linuxガジェヲタ&異世界小説家&電子工作大好き @kapper1224

ローカルAIで昆虫画像 これはいけそう 虫を発見する用途には出来そう pic.twitter.com/EuFtKdqAHH

2023-12-03 22:32:44
拡大
Kapper@Linuxガジェヲタ&異世界小説家&電子工作大好き @kapper1224

畑にいる猪をAIに画像検知させてみた。 どうやらいけそう。 猪と豚は区別が付かないかもしれないが。 ローカルAIに害獣や昆虫の有無を発見させるのは可能。 農業には使える pic.twitter.com/EUmZo3ztRM

2023-12-03 22:58:59
拡大