対話型TUIローカルLLM生成AIのOllamaを入れて遊んでみた。中身はllama.cpp。TUIがとても使いやすい。モデルがQ4量子化されていてコンパクト。LinuxとAndroid上のTermuxでも動いた。

Kapper@Linuxガジェヲタ＆異世界小説家＆生成AI＆電子工作大好き @kapper1224

対話型ローカルLLMのOllamaを入れてみた ダウンロードや実行が半自動式でターミナル操作できるTUIが売りのユーザーフレンドーリさ。量子化可 Pythonで組んだり、OpenAIキーも使える。 メモリの消費量はモデル次第かな。 github.com/ollama/ollama pic.twitter.com/AsAYr7gj5v

拡大

Kapper@Linuxガジェヲタ＆異世界小説家＆生成AI＆電子工作大好き @kapper1224

Ollamaのインストールは簡単。*BSDでは使えない。ターミナルから、 curl -fsSL ollama.com/install.sh | sh ollama run llama2 あとは自動でダウンロードして設定 systemdに登録して書き込むので注意 チャット欄が起動してそのまま文字を入力する Q4モデルらしい。GGUFはコンバートして使える

Kapper@Linuxガジェヲタ＆異世界小説家＆生成AI＆電子工作大好き @kapper1224

TermuxでもOllamaは動くらしい ちょっと試してみる github.com/ollama/ollama/…

Kapper@Linuxガジェヲタ＆異世界小説家＆生成AI＆電子工作大好き @kapper1224

TermuxでOllama 動いた。 Goでビルドする際にいきなりllama.cppをダウンロードしてビルドし始めた。笑った。内部は同じか 今モデルダウンロードなう pic.twitter.com/A0m5cW8QQ4

拡大

Kapper@Linuxガジェヲタ＆異世界小説家＆生成AI＆電子工作大好き @kapper1224

ジャンクスマホでもOllama動いた。 やや遅いけどイイネ このコマンドラインチャットUIがTermuxとフィットしてます pic.twitter.com/RkaxnNyXZ8

拡大

Kapper@Linuxガジェヲタ＆異世界小説家＆生成AI＆電子工作大好き @kapper1224

TermuxでOllamaのインストールは apt install git cmake golang git clone github.com/jmorganca/olla… cd ollama go generate ./... go build . ./ollama serve & ./ollama run phi

Kapper@Linuxガジェヲタ＆異世界小説家＆生成AI＆電子工作大好き @kapper1224

ollamaはllama.cpp+TerminalUI+API+WebUIなので、問題なく使える。Termuxにもピッタリ。高性能。 小さいモデルならAndroidでも動くし。 メモリ量には十分注意は必要。 問題は日本語が使えるモデルが十分じゃないって事かな。