1ファイルマルチOS対応のローカルLLMのllamafileが0.5にバージョンUP。サーバ版とコマンドライン版が合体。Phi-2対応、FreeBSD ARM対応、AMD ROCｍ対応などなど。Windowsでも動く凄いやつ

Kapper@Linuxガジェヲタ＆異世界小説家＆電子工作大好き @kapper1224

いつの間にかllamafileが0.5にアップデート FreeBSD ARM対応 Phi-2対応 AMD GPU in Windows対応 llamafile-serverがllamafileの中へ合体 などなど 本家llama.cppに追いつていないけど正直メンテ出来るんかいな？？？ github.com/Mozilla-Ocho/l… pic.twitter.com/OCHNsrrzrK

拡大

Kapper@Linuxガジェヲタ＆異世界小説家＆電子工作大好き @kapper1224

llamafile-0.5はオプション無しだと自動的にサーバ版がブラウザ起動します -pオプションを付けて、質問文を追加するとコマンドラインモードになりました 他にも--serverオプションでサーバ版を指定したり--cliオプションでコマンド版を指定 他にはGPUや--loraでLoRa学習ファイルを使用 詳しくは-hで

Kapper@Linuxガジェヲタ＆異世界小説家＆電子工作大好き @kapper1224

ちなみにWindowsには1実行ファイル最大4GB制限があるのでご注意を。なので本体ファイルだけダウンロードして、モデルは別ファイルにする方が良い

Kapper@Linuxガジェヲタ＆異世界小説家＆電子工作大好き @kapper1224

llamafileのGitのreleasesに本体ファイルがある。 モデルは好きなのをhuggingface.coからggufファイルをダウンロード Linuxはchmod +x Windowsはファイル名を変更で.exeを追加 huggingface.co/TheBloke github.com/Mozilla-Ocho/l…