1月19日

ラズパイ4でも動かせる1.1GB以下のローカルLLM Tiny-Vicuna-1Bをllama.cppで試してみた。小さいサイズで最も賢いらしい。TinyLLama 1.1BをWizardVicunaでFineTuningしたもの。Q8ならギリギリJava Swingのプログラムを書ける。NetBSDでも動く。凄いね

1.1GB以下で最も賢いと噂のTiny-Vicuna-1B。 Q8ならギリギリ英語で使えるレベルだが、低スペックPCにはもってこい。割とJava Swingを書かせるのは難しいです。

ログニュース実況 NetBSD llama.cpp レビューテクノロジー TinyLLama Linux TinyVicuna

kapper1224
1212
12
0
0

Kapper@Linuxガジェヲタ＆異世界小説家＆電子工作大好き @kapper1224

ラズパイ4でも動かせる1.1GB以下のTiny-Vicuna-1Bをllama.cppで試してみた。Tiny Vicuna 1BとはTinyLLama 1.1BをWizardVicunaデータセットでFineTuningしたもの。 Q4はアホの子だが、Q8ならギリギリJava Swingのプログラムを書ける。 NetBSDでも動く。凄いね huggingface.co/afrideva/Tiny-… pic.twitter.com/lW3EvL81Cy

2024-01-19 19:08:35

拡大

Kapper@Linuxガジェヲタ＆異世界小説家＆電子工作大好き @kapper1224

使い方は普通にGGUFファイルをダウンロードしてllama.cppかllamafileで実行するだけコマンドなら llamafile -m tiny-vicuna-1b.q8_0.gguf -p "### Please write soucecode Hello world in python.###" サーバなら llamafile -m tiny-vicuna-1b.q8_0.gguf でブラウザ　http://127.0.0.1:8080/

2024-01-19 19:15:39

Kapper@Linuxガジェヲタ＆異世界小説家＆電子工作大好き @kapper1224

参考サイトはこちら Google翻訳経由 zhuanlan-zhihu-com.translate.goog/p/678111523?_x… anakin0-blogspot-com.translate.goog/2024/01/tiny-v…

2024-01-19 19:17:10

Kapper@Linuxガジェヲタ＆異世界小説家＆電子工作大好き @kapper1224

llamafileはこちらから llamafile-0.6をダウンロードしてUNIXなら chmod +x llamafile-0.6 ./llamafile-0.6 -m tiny-vicuna-1b.q8_0.gguf Windowsならファイル名を.exe付けてPowerShellで上のコマンドを実行 github.com/Mozilla-Ocho/l… pic.twitter.com/n6qA6EhrRE

2024-01-19 19:21:56