【LLM】Ollamaをつかってgemma3:27bを動かしてみた。
Gemma 3 動作環境と利用状況
Gemma 3 を動作させるための環境と、実際に利用してみた状況についてまとめました。
動作環境
- GPU: RTX-3090
- OS: Ubuntu
利用条件
Gemma 3 を利用するには、Ollama 0.6 以上をインストールする必要があります。
実行コマンド
- 4Bモデル:
ollama run gemma3:4b
- 12Bモデル:
ollama run gemma3:12b
- 27Bモデル:
ollama run gemma3:27b
利用感
- 個人または少人数での利用であれば、十分な性能を発揮できます。
- GPU使用率は90%程度まで上昇しますが、それなりに利用可能です。
- 多人数での利用の場合、多少の待ち時間が発生する可能性があります。
- GPUメモリが不足する場合は、量子化された軽量モデル、または12Bモデルなどを利用することを推奨します。
コメント
コメントを投稿