【LLM】Ollamaをつかってgemma3:27bを動かしてみた。

Gemma 3 動作環境と利用状況

Gemma 3 を動作させるための環境と、実際に利用してみた状況についてまとめました。

動作環境

  • GPU: RTX-3090
  • OS: Ubuntu

利用条件

Gemma 3 を利用するには、Ollama 0.6 以上をインストールする必要があります。

実行コマンド

  • 4Bモデル: ollama run gemma3:4b
  • 12Bモデル: ollama run gemma3:12b
  • 27Bモデル: ollama run gemma3:27b

利用感

  • 個人または少人数での利用であれば、十分な性能を発揮できます。
  • GPU使用率は90%程度まで上昇しますが、それなりに利用可能です。
  • 多人数での利用の場合、多少の待ち時間が発生する可能性があります。
  • GPUメモリが不足する場合は、量子化された軽量モデル、または12Bモデルなどを利用することを推奨します。

コメント

このブログの人気の投稿

【iOS】SwiftでCGAffineTransformから角度・ラジアン・度数・スケールを計算する方法

【Android】WebViewのズームボタン(ピンチイン・ピンチアウト)を非表示にする方法

【iOS】UILabelでヒラギノフォントの上下が切れる問題と対処法