LLM(大規模言語モデル)をOllama使ってローカルで動かす。

タイトルの通りです。

ただのこれからやってみるよ。 って言う 宣言です。

これから、実際にPCを構築して、動作確認していきます。

そのうち、更新していきます・・・。


とりあえず。


RTX-3090 で LLM動かせた。


RTX-3090でOllamaを利用して動作可能な言語モデルは、

Gemma2:27B やdeepseek-r1:32bのあたりが限界でした。

これ以上大きい言語モデルはOOMが発生して、起動できなかったです。



コメント

このブログの人気の投稿

【iOS】SwiftでCGAffineTransformから角度・ラジアン・度数・スケールを計算する方法

【Android】WebViewのズームボタン(ピンチイン・ピンチアウト)を非表示にする方法

【iOS】UILabelでヒラギノフォントの上下が切れる問題と対処法