ジャンクiPad6でllama.cppベースのLLMFarmを使いローカルLLMで生成AIを遊んでみた。GGUFでQ4量子化したTinyllamaを動かした。メモリ量が少ないのでサイズの大きいモデルを動かせないのが弱点
iOSでもllama.cppアプリです。GPUメモリを共有しているので速いですがメモリ量が少ない弱点。
日本語モデル使えるのかな？
-
kapper1224
- 1000
- 4
- 0
- 21
-
- いいね！21
Kapper@Linuxガジェヲタ＆異世界小説家＆生成AI＆電子工作大好き
@kapper1224
iPadで使えるローカルLLMとしてLLM Farm メモリが少ない機種でもtinyllama Q4で普通に動いた凄い ベースがllama.cppなので最高。 iPadはメモリが少ない機種が多いのが弱点だな。 pic.twitter.com/uPQE07yaUB
2024-04-09 21:31:50
拡大
拡大
拡大
Kapper@Linuxガジェヲタ＆異世界小説家＆生成AI＆電子工作大好き
@kapper1224
同じくLLMFarmでphi2 エラー発生。このジャンクiPad6はメモリが2GBしかないのでPhi2のQ4を動かすにはメモリが足りないらしい… pic.twitter.com/tWjLfuOhqb
2024-04-10 06:48:30
拡大
Kapper@Linuxガジェヲタ＆異世界小説家＆生成AI＆電子工作大好き
@kapper1224
iPhone、iPadでローカルLLMを動かせるMLC Chat VRAM 3814.7MB必要との事で動作せず pic.twitter.com/erktpp78lf
2024-04-09 07:03:30
拡大
Kapper@Linuxガジェヲタ＆異世界小説家＆生成AI＆電子工作大好き
@kapper1224
もうちょっと賢さが欲しくてジャンクiPad6でLLMFarmとMobileVLM 1.7B Q6 しかし、0.18 t/s メモリは足りたが計算遅すぎる… 思わず声が出たw うへぇ pic.twitter.com/pm5LI0DLJP
2024-04-10 19:49:45
拡大
拡大
Kapper@Linuxガジェヲタ＆異世界小説家＆生成AI＆電子工作大好き
@kapper1224
iPadとiPhoneは伝統的にPCやAndroidと比べてメモリが少ない傾向なのでローカル生成AIには不利である。Swapも無いし。 大きなモデルを載せられないというのは苦しい。
2024-04-10 06:59:27
Kapper@Linuxガジェヲタ＆異世界小説家＆生成AI＆電子工作大好き
@kapper1224
情報が不足しているけど補足 ローカルLLM on iOS の現状まとめ | Shuichi Tsutsumi #docswell docswell.com/s/shu223/ZDE8X…
2024-04-10 07:04:30