Googleが公開したローカルLLMのgemma.cppをLinuxとAndroidのTermuxで動かしてみた。とりあえず2bだけど日本語で返事が帰ってくる程度に賢い。llama.cppでGGUF版があるけどこちらもチャット形式で良い。NetBSD上でもビルドし動作しました

Kapper@Linuxガジェヲタ＆異世界小説家＆生成AI＆電子工作大好き @kapper1224

Googleが公開したローカルLLMのgemma.cppを参考サイトを見ながら動かしてみた。先駆者に感謝 とりあえず2bだけど日本語で返事が帰ってくる程度に賢い。llama.cppでGGUF版があるけどこちらもチャット形式で良い note.com/ngc_shj/n/n3f5… pic.twitter.com/8bfoGYRrnF

拡大

Kapper@Linuxガジェヲタ＆異世界小説家＆生成AI＆電子工作大好き @kapper1224

Gemma.cppの使い方はまずこちらかGemma C++のタブからモデルデータを2b-it-sfpか7b-it-sfpを選択肢、右側アイコンよりダウンロードしarchive.tar.gzのファイル名にてホームフォルダかどこかに保存 kaggle.com/models/google/… pic.twitter.com/9TRRRmflSt

拡大

Kapper@Linuxガジェヲタ＆異世界小説家＆生成AI＆電子工作大好き @kapper1224

次にGithubからgit cloneしてenv git clone github.com/google/gemma.c… gemma.cpp python3 -m venv env/ source env/bin/activate

Kapper@Linuxガジェヲタ＆異世界小説家＆生成AI＆電子工作大好き @kapper1224

Pythonとenvは無くても起動しました。

Kapper@Linuxガジェヲタ＆異世界小説家＆生成AI＆電子工作大好き @kapper1224

先程ダウンロードしたモデルデータを展開。ひとまず2b-it-sfpとする。7bの場合は2bの文字を修正 mkdir 2b-it-sfp tar zxvf ../archive.tar.gz -C 2b-it-sfp/

Kapper@Linuxガジェヲタ＆異世界小説家＆生成AI＆電子工作大好き @kapper1224

入れ忘れた ソースコードをビルドする cmake -B build cd build make gemma cd .. ./build/gemma --tokenizer ./2b-it-sfp/tokenizer.spm --compressed_weights ./2b-it-sfp/2b-it-sfp.sbs --model 2b-it ファイル名が無いよエラーが出たらモデルデータのファイルとダウンロード確認

Kapper@Linuxガジェヲタ＆異世界小説家＆生成AI＆電子工作大好き @kapper1224

という事で動いた。 pic.twitter.com/2cGJ9QuXvw

拡大

Kapper@Linuxガジェヲタ＆異世界小説家＆生成AI＆電子工作大好き @kapper1224

なお、Gemmaで検索するとGGUFモデルも沢山変換されているのでllama.cppでも使用できる huggingface.co/models?search=… pic.twitter.com/AAZkkvoNwm

拡大

Kapper@Linuxガジェヲタ＆異世界小説家＆生成AI＆電子工作大好き @kapper1224

もちろんAndroidのTermux上でもGemma.cpp動いた 問題無し。 pic.twitter.com/ikCBsLbDFF

拡大

Kapper@Linuxガジェヲタ＆異世界小説家＆生成AI＆電子工作大好き @kapper1224

QemuのNetBSD上でもGemma.cppをビルド出来ました pic.twitter.com/N52LjwvvFZ

拡大

Kapper@Linuxガジェヲタ＆異世界小説家＆生成AI＆電子工作大好き @kapper1224

Qemu上のNetBSDにSCPファイル転送 NetBSD側ユーザー追加、/etc/ssh/ssh_configを編集、#PasswordAuthentication yesのコメントアウト Qemu起動時に-net user,ipv6=off,hostfwd=tcp::60022-:22 へ修正し60022をQemu上の22に scp -P 60022 archive.tar.gz 127.0.0.1:/home/kapper でscp接続転送 pic.twitter.com/kab6JkNC5x

拡大

Kapper@Linuxガジェヲタ＆異世界小説家＆生成AI＆電子工作大好き @kapper1224

Qemu上のNetBSDへモデルデータを転送・解凍して、そのままGemma.cppを起動。 無事動作しました・・・ コマンドは他と同じです。GoodJB pic.twitter.com/pFyJXROatW

拡大