無料でクラウド・ローカルの各AIモデルをOpenAI互換の単一APIでまとめて品質・速度・コストで最適化して管理しAIエージェントがどれだけの金額を使用できるかも制御できるオープンソースのゲートウェイ・ルーター「Experiential」

OpenAI・Anthropic・Geminiなど複数のAIモデルを使い分ける場合、APIキーや料金、利用状況の管理もサービスごとに分散します。クラウドやローカルのAIモデルをOpenAI互換の単一APIにまとめ、利用量や予算を一元管理できるオープンソースのAIゲートウェイ「Experiential」が公開されています。

Experiential Labs · The open source AI gateway
https://www.experientiallabs.ai/

◆Experientialで複数のAIモデルを1つのAPIにまとめる
GPT・Claude・Geminiなど複数のAIモデルをAIエージェントから利用する場合、通常は各プロバイダーごとに接続先やAPIキーを個別に設定する必要があります。Experientialを間に挟むとAIエージェント側では1つのOpenAI互換APIを設定するだけで、複数のAIプロバイダーへまとめてアクセスできるようになります。

◆会社・チームでAIの利用料金をまとめて管理
会社やチームで複数のAIプロバイダーを利用する場合、各社員にそれぞれのAPIキーを直接配ると利用状況や料金の管理が分散しやすくなります。Experientialでは各プロバイダーの接続先をまとめたうえで、社員やAIエージェントごとに専用のExperiential APIキーを発行できます。

Logs画面の「Request history」の「API KEY」欄から、どのキー経由でリクエストされたかを確認できます。

フィルタリングをすれば特定のキーがどのようなモデルを利用していたかを把握できます。

各プロバイダー側のAPIキーを会社側でまとめて管理しながら、Experiential側で社員やチームごとの利用状況を仕分けできます。誰がどのモデルをどれだけ使い、いくら消費したのかを1カ所で確認できるため、複数人でAI APIを利用する場合のコスト管理が簡単になります。

◆利用するAIモデルや接続経路を管理
Experientialには標準で1000種類以上のAIモデルが登録されており、GPT・Claude・Geminiのほか、DeepSeek・Qwen・Kimi・GLM・Mistral・llamaなどを1つのモデル一覧から選択できます。

すでに契約しているプロバイダーのAPIキーがある場合は、そのキーをExperientialに登録してBYOKとして利用できます。

◆利用が増えたらモデル選択も最適化
複数のモデルをまとめて管理するだけでなく、実際の利用履歴をもとにモデル選択を最適化する機能も用意されています。OpenTelemetry形式でAIエージェントの処理履歴を蓄積すると、そのタスクを複数モデルで評価し、品質・応答速度・料金を比較してルーターを構築できます。これにより、簡単な処理は安価で高速なモデル・複雑な処理は高性能なモデルへ振り分けるといった使い分けが可能です。

なお、クラウド版のFreeプランでは自動ルーティングやプロンプトごとのモデル最適化は利用できず、Proプラン以上で提供されています。Freeプランでは複数のAIモデルを1つのAPIから利用したり、利用量や料金をまとめて確認したりといった基本機能を利用でき、複数モデルの運用が増えてきた段階でモデル選択の自動化を追加できます。

セルフホスト版では、Langfuseなどに蓄積した利用履歴をOpenTelemetry形式などで書き出し、Experientialに読み込ませてルーターを構築できます。