CloudflareがAI利用料の予算管理機能を発表、誰がどのAIにいくら使ったのか把握可能に

Cloudflareは、AIアプリケーションと各種AIプロバイダーの間に入って利用状況を管理するサービス「Cloudflare AI Gateway」に、AI利用料の予算上限を設定できる「Spend limits」を追加したと発表しました。

Your AI bill is out of control. Cloudflare can fix it now.
https://blog.cloudflare.com/ai-gateway-spend-limits/

社内チャットボットで文章を要約し、開発チームがコードレビューにAIを使い、営業担当者が顧客向けメールの下書きをAIで作成するといったように、企業の中でAIを使う場面は急速に増えています。AIの利用が広がるほど業務は効率化されますが、月末に請求書を見て初めて「どの部署がどのモデルにいくら使ったのか分からない」という問題に気付くことがあります。

Cloudflareは「企業がエンジニア全員に高性能AIモデルへアクセスできる共有APIキーを配布し、利用が一気に増えた結果、請求書の金額だけが膨らんで利用内訳を説明できないというケースがある」と説明。また、「予算の上限や利用状況の可視化がなければ、利用者は費用を考えず最も強力なモデルを選びがちになる」とも述べています。

こうした支出管理の難しさは、AIプロバイダーごとにAPIキーや管理画面が分かれている場合にさらに大きくなります。AI利用を社内で広げながら費用を管理するには、AIプロバイダーの手前でリクエストをまとめて扱う仕組みが必要になるというわけです。

Cloudflare AI Gatewayは、アプリケーションとOpenAI、Anthropic、GoogleなどのAIプロバイダーの間に入るゲートウェイサービスです。アプリケーションがAIプロバイダーを直接呼び出す代わりにAI Gatewayを経由することで、複数プロバイダーの利用状況をまとめて記録したり、リクエスト数やコストを確認したり、キャッシュやレート制限を使ったりできます。

従来のAI Gatewayでは、アカウント全体の利用量は確認できても個人単位でかかった費用を把握したり、チームやユーザーごとに予算を割り当てたりする仕組みはありませんでした。Cloudflareが今回発表したSpend limitsは、AI Gatewayの既存機能を拡張してAI利用料に予算上限を設定できるようにする機能です。

Spend limitsはトークン数ではなくドル建ての予算として設定します。レート制限が「一定時間に送れるリクエスト数」を制御する仕組みであるのに対し、Spend limitsはトークン使用量とAIモデルの価格に基づいて各リクエストのコストを計算し、指定した期間内の累計支出が上限に達したかどうかを追跡します。

予算の範囲はモデル、プロバイダー、管理者が定義したカスタム属性の組み合わせで指定できます。たとえば特定のAIモデルだけに予算を設定したり、ユーザーIDごとに別々の予算枠を作ったり、エンジニアリングチームだけに月間予算を設定したりできます。期間は日次、週次、月次で設定でき、固定期間またはローリング期間を選択可能です。

上限に達した場合の標準動作はリクエストのブロックですが、業務を止めたくない場合には高額な主要モデルの予算を使い切った後に安価な代替モデルへ切り替える構成も可能とのこと。

Spend limitsは記事作成時点で全プランのAI Gatewayユーザーにオープンベータとして提供されています。設定はCloudflareのダッシュボードまたはAPIから行え、Cloudflareのドキュメントによると1つのゲートウェイにつき最大20個のルールを定義できます。なお、コスト追跡はトークン数とモデル価格に基づく推定であり、正確な請求金額は各プロバイダー側のダッシュボードを参照する必要があるとのことです。

さらに、CloudflareはSpend limitsとは別に、Cloudflare Accessと既存のIDプロバイダーを組み合わせた「IDに基づく予算とポリシー」もクローズドベータとして発表しました。

Cloudflare Accessと組み合わせると、AI Gatewayはリクエストを送った社員、所属グループ、サービスアカウントなどの情報を確認できるようになります。Cloudflareによると、個人コントリビューターには月500ドル(約8万円)、シニアエンジニアには月2000ドル(約32万円)といったユーザー単位の予算を設定したり、機械学習チームには高性能モデルを許可し、インターンにはオープンソースモデルを使わせるといったチーム単位のポリシーを設定したりできるとのこと。

自動化されたCI/CDパイプラインやAIエージェント向けには、Cloudflare Accessのサービストークンで名前付きのIDを付与できます。コードレビューボットが1週間に500万トークンを使い、ドキュメント生成ボットが50万トークンを使ったといった内訳を把握できるため、特定の自動処理が暴走しても他の処理に影響を与えずに予算ポリシーを適用できると説明されています。

Cloudflareは今後の取り組みとして、リクエスト内容に応じて最も低コストで適切な結果を出せるモデルへ振り分けるタスクベースのルーティングにも取り組んでいると述べています。要約のような処理は小型で安価なモデルに任せ、大規模なコード修正のような処理だけ高性能モデルに回すことで、単なる支出制限からコスト最適化へ進めることを目指しているとのことです。