LLM(大規模言語モデル)をOllama使ってローカルで動かす。
タイトルの通りです。 ただのこれからやってみるよ。 って言う 宣言です。 これから、実際にPCを構築して、動作確認していきます。 そのうち、更新していきます・・・。 とりあえず。 RTX-3090 で LLM動かせた。 RTX-3090でOllamaを利用して動作可能な言語モデルは、 Gemma2:27B やdeepseek-r1:32bのあたりが限界でした。 これ以上大きい言語モデルはOOMが発生して、起動できなかったです。