ローカルLLMのllamafileサーバ版をコマンドラインで出力させるllama.shがリリース。ブラウザを使いたくない人やXを使いたくない人向けスクリプト。少ないメモリや環境を有効活用するラズパイ4や低スペックPCに良いかも。

Kapper@Linuxガジェヲタ＆異世界小説家＆電子工作大好き @kapper1224

ローカルLLMのllamafileサーバの出力をコマンドラインで出力させるllama.shがリリースされています。 下の画像の右側 llamafileのサーバは基本http://127.0.0.1:8080でブラウザを使用しますが、このスクリプトはブラウザの代わりにターミナルで表示します github.com/m18coppola/lla… pic.twitter.com/dsi0JxGkzI

拡大

Kapper@Linuxガジェヲタ＆異世界小説家＆電子工作大好き @kapper1224

llama.shを実行するには別のターミナルで ./llamafile-0.5 -m mistral-ft-optimized-1227.Q4_K_S.gguf & を先に実行する。その後 ./llama.sh "Please write Hello world! in Python." みたいな感じで質問内容を入力する

Kapper@Linuxガジェヲタ＆異世界小説家＆電子工作大好き @kapper1224

チャット版python_chat.shとbasic_chat.sh も同じだが、llama.shファイルを途中で読み込む初期設定ではPATHが通っていないw llama.shを/usr/local/bin移すかPATHを通すか ソースコード内のllama.sh → sh llama.shに変更すると動作 pic.twitter.com/YQ9ChB5GmL

拡大

拡大

Kapper@Linuxガジェヲタ＆異世界小説家＆電子工作大好き @kapper1224

一応動くレベルにはなっているので、細かい所は修正が今後入るだろうと期待。 コマンドラインだけでllamafileサーバ版を完結したい人、Xを使いたくない人にはllama.shはオススメ