2026年09月19日 18時00分レビュー

無料でAIエージェントの追跡・評価・プロンプト管理・本番環境の監視ができる「Opik」、セルフホスト可能

AIアプリの開発ではLLMが生成した回答を確認するだけでなく、どの処理を経由して回答に到達したのかを追跡し、改善後の結果を比較する作業も必要になります。これらの検証に必要なトレーシング・評価・プロンプト管理・本番監視を1つの画面にまとめたオープンソースの「Opik」が公開されています。

Open-Source AI Observability Platform | Opik by Comet
https://www.comet.com/site/products/opik/

comet-ml/opik: Debug, evaluate, and monitor your LLM applications, RAG systems, and agentic workflows with comprehensive tracing, automated evaluations, and production-ready dashboards.
https://github.com/comet-ml/opik

◆Opikの利用方法
追跡したいAIアプリで呼び出すLLMをOpikでラップすることにより、入力プロンプト・生成結果・使用モデル・トークン使用量・処理時間・コスト情報がOpikサーバーに送信されます。Gemini API ライブラリを利用する場合は以下のようになります。

from google import genai
from opik.integrations.genai import track_genai

client = genai.Client(
    api_key=os.environ["GEMINI_API_KEY"]
)

gemini = track_genai(client)

追跡したい処理の前に「@track」を付けることで処理自体のトレースが可能になります。

from opik import track

@track
def search_information(query):
…

@track
def generate_answer(question):
…

これらを開発中のAIアプリに組み込み実行するとOpikに記録されるので、確かめたい実行記録をクリック。

「東京タワーとスカイツリーの比較」を指示したところ、結果が正しく求められませんでした。この画面では結果だけでなく、呼び出されたAIエージェントがどのようなツールを利用して回答を作成したかのトレースや利用コストなどを確認することができます。

改良したスクリプトの記録をクリック。

期待した答えが返ってきた上、処理時間も前回のスクリプトよりも早くなっています。しかし、使用された総トークンは6倍となり、原因はプロンプトにかなりのトークンを消費しているためとわかります。

このように結果だけでなく、どのような要因で動作が改善もしくは悪化したのかの調査が可能になります。

◆AIの回答をTest Suitesで評価
AIアプリの実行結果を記録するだけでなく、あらかじめ用意した条件に沿って回答を評価する「Test Suites」を利用し、同じ質問に対して修正前と修正後のAIエージェントを実行することで、改善によって期待する回答が得られるようになったかを比較できます。

今回は「東京タワーと東京スカイツリーの高さを比較する」という質問に対して、以下のような条件を設定しました。
・東京タワーと東京スカイツリーの高さが両方記載されている
・東京タワーの高さが333mと記載されている
・東京スカイツリーの高さが634mと記載されている
・両者の高さの差が301mと正しく説明されている

開発中のスクリプトにTest Suitesに登録した質問を既存のagent()関数へ渡し、その回答を評価対象として返すtaskを登録します。

def task(item):
    question = item["question"]
    answer = agent(question)

    return {
        "input": question,
        "output": answer,
    }

このtaskをTest Suitesに対して実行することで、AIエージェントの回答が登録済みの条件を満たしているかをOpikが判定します。

opik.run_tests(
    test_suite=suite,
    task=task,
)

このスクリプトを組みこんだ場合の実行結果です。適切な答えが返ってこなかったスクリプトでは条件に設定した回答が得られていないため「FAILED」の判定となっています。

適切な答えが返ってきたスクリプトでは「PASSED」の評価となっています。

◆プロンプトをPrompt Libraryで管理
AIアプリで利用するプロンプトを「Prompt Library」に保存することで、修正前後の内容を比較したり特定のバージョンを指定して再利用したりできます。

Prompt Libraryからプロンプトを取得する際にバージョンを指定しなければ、常に最新バージョンが利用されます。そのため、AIアプリのPythonコードを書き換えることなく、Opikの管理画面でプロンプトを編集して新しいバージョンを作成し、スクリプトを再実行するだけで変更後の動作を試すことができます。一方、version="v3"のように指定すれば特定のプロンプトを固定して利用できるため、過去の実行結果を再現する用途にも利用できます。

prompt = client.get_prompt(
    name="tower-comparison-agent",
    version="v3",
    project_name="gemini-agent-demo"
)

◆その他の機能
・「Prompt Playground」で複数のプロンプトやモデルを並べて実行し、生成結果・トークン使用量・処理時間を比較可能。Test Suitesと組み合わせて各プロンプトを同じ条件で評価することもできます。

・「Agent Playground」でローカルのAIエージェントをOpikから実行し、プロンプトやパラメーターを変更しながらTraceを確認可能。コードを書き換えずに設定変更を試すこともできます。

・「Online Evaluation rules」を設定すると、本番環境から送られてくるTraceをLLM-as-a-Judgeで自動評価可能。ハルシネーション・不適切な内容・回答の関連性などを継続的に監視できます。

・「Guardrails」により、個人情報・特定トピック・プロンプトインジェクションなどを検出してAIアプリの入出力を制限可能。LLMによる独自ルール判定やカスタム分類器にも対応しています。

・「Agent Optimizer」を利用して、Test SuitesやDatasetによる評価結果を基準にプロンプトを自動的に改善可能。単一プロンプトだけでなく複数のプロンプトを利用するAIエージェントの最適化にも対応しています。

・MCPサーバーを利用することでClaude Code・Codex・CursorなどのAIコーディングクライアントからOpikへ接続し、Traceの確認や評価、Experimentの実行などを会話形式で操作できます。

◆OpikとLangfuseの違い
AIアプリのトレーシング・評価・プロンプト管理・本番監視を行うオープンソースツールとしては「Langfuse」も広く利用されています。OpikとLangfuseは多くの機能が共通していますが、セルフホスト環境で両者を比較した「Opik vs Langfuse: Self-Hosted LLM Observability in 2026」では、Opikは評価・テスト・CIとの連携を重視する一方、Langfuseはトレーシングや統合機能、チームでの運用に強みがあると整理されています。

◆Opikのセルフホストでの環境構築方法
今回はWindowsにDocker DesktopとPythonを用意した上で、Git Bashのプロンプトを用いて構築します。作業フォルダーにリポジトリをクローンし、opikフォルダーに移動してインストールコマンドを実行。

git clone https://github.com/comet-ml/opik.git
cd opik
powershell -ExecutionPolicy ByPass -c ".\opik.ps1"

ブラウザで「http://localhost:5173/」にアクセスすると登録フォームが表示されるので「Skip and go to Opik」をクリック。

プロジェクト一覧が表示されればサーバーの構築は完了です。

次にPython用のライブラリをインストール。

pip install opik

今回はローカル環境にOpikサーバーを用意しているので以下の設定コマンドを実行してローカル環境での利用を登録します。

opik configure --use_local

初期状態で設定されているプロジェクトを利用せず、新たにプロジェクトを作成します。

Do you want to use "Opik Demo Agent Observability" project name? (Y/n)n
Please enter the project name: gemini-agent-demo

Claude Code・Codex・Cursorなど対応するAIコーディングクライアントがインストールされている場合は、Opik用のMCPサーバーをどのAIエージェントにインストールするか選択し、さらにSkillもインストールする場合は質問に「Y」もしくはそのままEnterキーを押して進めます。