OllamaLLM×Python: ローカル生成AI

はじめに

近年、生成AI技術の発展は目覚ましく、様々なサービスが登場しています。しかし、多くのサービスはクラウド上で動作し、プライバシーやコストの問題が懸念されます。本記事では、ローカル環境で動作する生成AIモデルをPythonで利用する方法について解説します。具体的には、OllamaLLMとPythonを組み合わせ、PromptTemplateとPydanticOutputParserを用いて、より柔軟で制御しやすい生成AIアプリケーションを構築します。

OllamaLLMとは？

OllamaLLMは、ローカル環境で大規模言語モデル(LLM)を実行するためのツールです。複雑なセットアップを必要とせず、簡単にLLMをダウンロードして利用できます。本記事では、OllamaLLMを利用することで、クラウドに依存せずに生成AIを活用する方法を紹介します。OllamaLLMは、様々なLLMに対応しており、目的に合わせてモデルを選択できます。

開発環境の準備

まず、PythonとOllamaLLMをインストールします。Pythonはバージョン3.7以上を推奨します。OllamaLLMは、公式サイトからダウンロードしてインストールできます。インストール後、OllamaLLMが正常に動作することを確認してください。また、必要なPythonパッケージをインストールします。具体的には、pip install pydanticを実行します。

PromptTemplateを用いたプロンプトの作成

生成AIの性能は、与えるプロンプトの質に大きく左右されます。PromptTemplateを用いることで、プロンプトを動的に生成し、より柔軟な制御を実現できます。例えば、ユーザーからの入力に基づいてプロンプトを生成したり、特定のフォーマットでプロンプトを作成したりできます。本記事では、PromptTemplateを用いて、より効果的なプロンプトを作成する方法を解説します。

PydanticOutputParserを用いた出力の構造化

生成AIの出力は、多くの場合、自由形式のテキストです。しかし、特定の構造化されたデータとして出力したい場合があります。PydanticOutputParserを用いることで、生成AIの出力をPythonのデータ型に変換し、より扱いやすくすることができます。例えば、JSON形式のデータやPythonの辞書形式のデータとして出力することができます。本記事では、PydanticOutputParserを用いて、生成AIの出力を構造化する方法を解説します。

サンプルコード

以下に、OllamaLLM、PromptTemplate、PydanticOutputParserを用いたサンプルコードを示します。このコードは、ユーザーからの質問に基づいて、OllamaLLMを用いて回答を生成し、PydanticOutputParserを用いてJSON形式のデータとして出力するものです。


from llama_cpp import Llama
from pydantic import BaseModel, Field
from typing import List, Dict

class Answer(BaseModel):
    text: str = Field(..., description="回答のテキスト")

# OllamaLLMの初期化
llm = Llama(model_path="./models/llama-2-7b.Q4_K_M.gguf")

# プロンプトテンプレート
prompt_template = "質問: {question}\n回答:"

# PydanticOutputParser
parser = Answer

def generate_answer(question: str) -> Answer:
    prompt = prompt_template.format(question=question)
    output = llm(prompt, max_tokens=100)
    answer = parser(text=output['choices'][0]['text'])
    return answer

# サンプル
question = "日本の首都はどこですか？"
answer = generate_answer(question)
print(answer.text)

このサンプルコードでは、まずOllamaLLMを初期化し、次にプロンプトテンプレートとPydanticOutputParserを定義します。その後、ユーザーからの質問に基づいてプロンプトを生成し、OllamaLLMを用いて回答を生成します。最後に、PydanticOutputParserを用いて回答を構造化し、JSON形式のデータとして出力します。

ローカル環境での実行のメリット

ローカル環境で生成AIを実行するメリットは、プライバシーの保護、コストの削減、応答速度の向上などです。クラウドサービスを利用する場合、データがクラウド上に保存されるため、プライバシーが侵害される可能性があります。また、クラウドサービスの利用料金が発生するため、コストがかかります。ローカル環境で実行することで、これらの問題を解決できます。本記事で紹介した方法を用いることで、手軽にローカル環境で生成AIを活用できます。

まとめ

本記事では、OllamaLLMとPythonを組み合わせ、PromptTemplateとPydanticOutputParserを用いて、ローカル環境で動作する生成AIアプリケーションを構築する方法について解説しました。この方法を用いることで、プライバシーを保護しつつ、コストを削減し、応答速度を向上させることができます。ぜひ、本記事を参考に、ローカル環境で生成AIを活用してみてください。本記事で紹介したサンプルコードは、あくまでも基本的なものです。より複雑なアプリケーションを構築するために、様々な工夫を凝らしてみてください。

このブログを検索

一生ヘタレプログラマ