ラズパイ4でも動かせるローカルLLM用省メモリ小型高性能Phi-2モデルのライセンスをMicroSoftがMITライセンスに変更。これで自由に配布・改造・商用利用が出来ます。llamafile版も公開されました。もちろんLinuxでもNetBSDでも動きます

Kapper@Linuxガジェヲタ＆異世界小説家＆電子工作大好き @kapper1224

MicroSoftがPhi-2のライセンスをMIT-ライセンスに変更したとな。それはありがたい。 改造しまくれるし、ファインチューニングして配布も出来る。 MicroSoftからしたらとても小さな事だとは思うが、Linuxや*BSDの公式・非公式レポジトリに入れられる。小さい割に優秀だし。 reddit.com/r/LocalLLaMA/c… pic.twitter.com/GFxNBxjY2h

拡大

Kapper@Linuxガジェヲタ＆異世界小説家＆電子工作大好き @kapper1224

オープンソースのローカルLLM界隈がPhi-2ライセンスMIT変更で大騒ぎしていますな。 Phi-2改造版も密かにあちこちであります。 ちなみにGGUF版はこちらからダウンロード出来ますし huggingface.co/kroonen/phi-2-… Phi-2 llamafile版もこちらからダウンロードできます huggingface.co/jartine/phi-2-…

CodingNerds COG @CodingnerdsCog

@Microsoft finally changed the license for their small #LLM phi-2 to MIT! 🚀 >> Phi-2 is a 2.7 billion parameter LLM trained on 1.4T tokens, including synthetic data, achieving 56.7 on MMLU, outperforming Google Gemini Nano. >> TLDR: 🧮 2.7B Parameters base model 📱 ~1GB memory requirement with quantization 📜 context length of 2048 tokens. 🚀 outperforms Google Gemini Nano (3.2B) 🧑🏻‍💻 Good at #coding , especially #Python 🗣️ Licensed under #MIT 🤗 Available on #HuggingFace Model: lnkd.in/exDrMJkR Blog: lnkd.in/ehfAYWmS Hugging Face: linkedin.com/company/huggin… #Microsoft #Bard #Gemini #OpenAI账号 #BingAI @sundarpichai @satyanadella #AI #chatgpt4

拡大

Roger Sanchez @Roger_Sanchez

Microsoft Phi-2 model changes licence to MIT huggingface.co/microsoft/phi-… pic.twitter.com/7BBDtgNgB2

拡大

Kapper@Linuxガジェヲタ＆異世界小説家＆電子工作大好き @kapper1224

こちらにllamafile版のPhi-2あります。 容量1.6GBと小さいです。 ラズパイ4でも動かせる程小さいですが高性能です。 huggingface.co/jartine/phi-2-… pic.twitter.com/m7HWB8NeOI

拡大

Kapper@Linuxガジェヲタ＆異世界小説家＆電子工作大好き @kapper1224

llamafile-0.5+Qemu-system-x86_64+NetBSD 10.0RC2でPhi-2が動きました。 QemuでSSE3を使うには-cpu host,+sse3などでCPUエミュレーションを指定すると動きます。 Phi-2は1.6GB相当のメモリで動くのでラズパイ4でも動くはずですが、日本語駄目です。英語のみ。 ちなみにDownloadはW3m使いました pic.twitter.com/lBlUTez6Vk

拡大

拡大

RCA Zenith @RcaZenith

Also I can't find examples of anybody doing it online, so I thought I'd share evidence that a Raspberry Pi 5 can run the Microsoft PHI-2 model at nearly 5t/s No special tweaks, just quickly compiled llama.cpp and it works fast pic.twitter.com/EFcjmaoYRh

拡大

Kapper@Linuxガジェヲタ＆異世界小説家＆電子工作大好き @kapper1224

RaspberryPi4、５上でllama.cppなどローカルLLMを動かして検証しているサイトを読んだ。 メモリがあるからローカルLLM動くけど、ラズパイ5はともかく4だとかなり遅そう。7Bはさすがに無理だと思うわ。 TinyLLaMaのような1.1B相当やPhi-2の様な2.2B相当以下じゃない dfrobot.com/blog-13498.html pic.twitter.com/FpjElyTD5Z

拡大