ジャンクノートパソコンにPythonと日本語LLMのRinnaを入れてメモリ16GBとSwapフルでローカル質問してみた。メモリ足りなくてもSwap積めばなんとかなる。ローカルLLM最高

Kapper@Linuxガジェヲタ＆異世界小説家＆電子工作大好き @kapper1224

ジャンクノートパソコン16GBメモリにUbuntuとSwapとZramガンヅミしてLLMのrinnaを動かすテスト。 Zram16GBにSwap4GBの合計20GB。 rinnaをCPUで動かすには32GBメモリが必要だと言われている・・・ pic.twitter.com/JtNmAP4kH7

拡大

拡大

Kapper@Linuxガジェヲタ＆異世界小説家＆電子工作大好き @kapper1224

Ubuntu上でrinnaをインストールする方法はこちらを参照。 まずpython3とpipとgitがインストールされている事を前提として pip install transformers sentencepiece インストール終わったら、データをhuggingfaceからぶっこぬく note.com/npaka/n/ne4a38…

Kapper@Linuxガジェヲタ＆異世界小説家＆電子工作大好き @kapper1224

データセットのダウンロードは huggingface.co/rinna/japanese… を開き画面右上のUse in TransformersをクリックするとPythonソースが出てくるので上のCopyをクリックし 端末で nano test.py でコピーしたソースを貼り付けて保存 こちらを参考に shikaku-sh.hatenablog.com/entry/stable-d…

Kapper@Linuxガジェヲタ＆異世界小説家＆電子工作大好き @kapper1224

で作成したpythonスクリプトを実行 python3 test.py すると指定されたフォルダにデータセット一式がダウンロードされる。だいたい8GB程度あるのでネットワーク回線にご注意を。

Kapper@Linuxガジェヲタ＆異世界小説家＆電子工作大好き @kapper1224

データセットをコピーしたら実行pythonファイルを作成 参考サイト様に感謝して nano rinna.py で参考サイト様のテストpythonを2つ貼り付ける CPUで動作させる場合は、.to("cuda")を削除 して保存。 note.com/npaka/n/ne4a38… zenn.dev/kun432/scraps/… pic.twitter.com/N9NfDKI5Z7

拡大

拡大

Kapper@Linuxガジェヲタ＆異世界小説家＆電子工作大好き @kapper1224

実行するとエラーメッセージが出るので use_fast=False,の後にカンマをつけて、次の行に legacy=Falseをつけて保存する で実行 python3 rinna.py でCPUなら待つこと数分。回答分が出てくるはず。 今回のサンプルコードはこんな感じで作成して保存してください pic.twitter.com/y9GPzq0VnB

拡大

Kapper@Linuxガジェヲタ＆異世界小説家＆電子工作大好き @kapper1224

UbuntuのSwapとZramはこちらを参考にメモリ量を増やしてください メインメモリ＋Swap+Zramが32GBを超えるように確保してください。CPU速度が速い場合はZramのメモリ圧縮率を上げても良いです。量が足りないと途中でrinnaが落ちますので注意。Kapperはearlyoomを入れてます kapper1224.sblo.jp/article/188443…

Kapper@Linuxガジェヲタ＆異世界小説家＆電子工作大好き @kapper1224

rinnaの消費メモリはSwap込みでだいたい30GB前後。 恐ろしくSwapを食いつぶすので注意が必要。 日本語でちゃんと出力された。 pic.twitter.com/as1qJnTZsH

拡大

Kapper@Linuxガジェヲタ＆異世界小説家＆電子工作大好き @kapper1224

rinnaに「UbuntuLinuxで人気のあるWindowManagerはどれ?」を質問・・・ あんまり賢くないなこれ・・・ pic.twitter.com/gDb1lNcYDf

拡大

Kapper@Linuxガジェヲタ＆異世界小説家＆電子工作大好き @kapper1224

@t_hase うちのPCはComet-Lakeの10210Uですが、バッテリーモードでこんな感じです。 ACアダプタを繋いでフルパワーで動かすともっと速いかもしれませんが・・・ pic.twitter.com/rOxCtc0mcG

拡大

Kapper@Linuxガジェヲタ＆異世界小説家＆電子工作大好き @kapper1224

Ubuntu上のrinnaさんに 「Linuxで一番速いWindowManagerは」を質問した結果。 なんというか、もうちょっと手加減というか・・・ｗ 賢さが足りないですねｗｗｗ pic.twitter.com/md1XxAYlNp

拡大

Kapper@Linuxガジェヲタ＆異世界小説家＆電子工作大好き @kapper1224

Ubuntu上のrinnaさんに 「NetBSDで最も優れた長所は」を質問した結果。 それっぽい回答が出てきた。 やっぱりWikiとかにある情報と無い情報で分かれるんでしょうか・・・？？？ pic.twitter.com/SIT4kJbar8

拡大

Kapper@Linuxガジェヲタ＆異世界小説家＆電子工作大好き @kapper1224

rinnaさんにArchLinuxさんの良い所を質問 「初心者でも簡単にLinux環境を手に入れることができることだ」 嘘やろ・・・ ワロタ pic.twitter.com/GAW5ELcqkc

拡大

Kapper@Linuxガジェヲタ＆異世界小説家＆電子工作大好き @kapper1224

Ubuntuのrinnaさんに質問スクリプトを投げてみた 下記のサイトのコードを全角→半角に修正して まだまだですなw internet.watch.impress.co.jp/docs/column/sh… pic.twitter.com/JgAjC0Cf8X

拡大

Kapper@Linuxガジェヲタ＆異世界小説家＆電子工作大好き @kapper1224

Rinnaさん 20分も考え込まないでください・・・ 質問をどうぞ： Linuxのゲームを５つ答えて 1202.7889213562012 以下は、Linuxのゲームのリストです: - マインクラフト: - マインクラフト: クラシック: - マインクラフト: モダン: - マインクラフト: クラシック: モダン:</s>

Kapper@Linuxガジェヲタ＆異世界小説家＆電子工作大好き @kapper1224

試そうか rinna、Llama 2の日本語継続事前学習モデル「Youri 7B」を公開 huggingface.co/rinna/youri-7b…

Kapper@Linuxガジェヲタ＆異世界小説家＆電子工作大好き @kapper1224

ダウンロード。下記をコピペして実行 python3 ???.py # Use a pipeline as a high-level helper from transformers import pipeline pipe = pipeline("text-generation", model="rinna/youri-7b")

Kapper@Linuxガジェヲタ＆異世界小説家＆電子工作大好き @kapper1224

youri-7bで強制終了 あかん 32GBじゃ全然メモリ足りないっす 無理ですわ

Kapper@Linuxガジェヲタ＆異世界小説家＆電子工作大好き @kapper1224

仕方がないからswap.imgを4GB→16GBに増やす SSDの寿命が短くなるから嫌だなw 下記参考。ありがとう qiita.com/HirumaT/items/… pic.twitter.com/kaDX3nkMGj

拡大

Kapper@Linuxガジェヲタ＆異世界小説家＆電子工作大好き @kapper1224

Swapを増やしても強制終了か