Google調査で83％の組織がAIインフラ刷新を必要視、AIエージェント時代に従来基盤の限界が浮き彫りに

Google CloudがAIインフラの実態を調査した結果、83％の組織が本番環境でエージェント型AIを利用するにはインフラの刷新が必要だと考えていることが分かりました。

State of AI infrastructure report overview | Google Cloud Blog
https://cloud.google.com/blog/products/compute/state-of-ai-infrastructure-report-overview/?hl=en

Google Cloudによると、企業向けAIは単に会話するAIから、自分で作業を進めるエージェント型AIへ移りつつあるとのこと。求められる処理が比較的シンプルなチャットボット型AIに対し、エージェント型AIでは1つの指示から「メールを読む」「社内データベースを調べる」「必要な申請を作成する」「別のシステムに入力する」など多数の処理が連鎖的に発生します。

しかし、従来のインフラは大量の推論処理を長時間回し続ける前提で作られているわけではありません。AIが何度も考え直しながら処理を続けると、データ転送料やストレージ費用、使われない専用ハードウェアの維持費が積み上がります。調査では62％のリーダーが大きな「推論税」を認識しており、81％がAI拡大に伴う運用の複雑さを隠れたコストとして挙げたそうです。

こうした負担を抑えるためにGoogle Cloudが示している考え方が、処理内容に応じて最適な計算資源を使い分ける「fluid compute」です。大規模な学習にはTPU 8tのようなアクセラレーターを使い、低遅延の推論にはチップ上のメモリを重視したTPU 8iを使い、AIの制御基盤やエージェントの処理調整にはArmベースのGoogle Axionを使うというように、用途ごとにハードウェアを切り替えるというわけです。

AIエージェントが増えると、コストだけでなく管理の問題も大きくなります。AIがメールを読んだり、データベースにアクセスしたり、ワークフローを実行したりする場合、どのAIがどの情報を読み書きできるのかを管理できなければ、企業は安全性や監査の面で大きなリスクを抱えることになります。調査では79％の技術リーダーが、セキュリティ・ガバナンス・MLOpsを推論処理拡大の最大の課題として挙げています。

AIエージェントの管理が複雑になる問題に対する仕組みとしてGoogle Cloudには「Agent Gateway」が存在するとのこと。Agent GatewayはAIエージェントの権限、ID、作業内容を一元的に管理するための仕組みで、AIがどのデータを共有しているかを把握したり、読み取りや書き込みの範囲を細かく指定したりできます。また、重要な操作を行う前に人間の承認を挟むことも可能です。

AIが社内データを正しく扱うには、データの置き場所も課題になります。重要な情報が整理されずにバラバラに保存されているような状態ではAIが必要な情報を見つけにくくなります。Google Cloudは構造化されていないデータを検索しやすくするSmart Storageや、複数クラウド上のデータを扱うCross-Cloud Lakehouseによって「AIが必要とするデータを個別のデータ連携処理や重複データを増やさず扱えるようにする」と説明しています。

また、AIの処理をすべて遠くのデータセンターに送る方法も万能ではありません。工場・店舗・病院・金融取引などでは、通信の遅れやネットワーク障害が業務に直結します。コスト面でも有利ということもあり、調査では90％の組織がAI施策におけるエッジ展開を重要視しており、72％が非常に重要またはかなり重要だと回答しました。

さらに、AI向けハードウェアは高い計算能力を必要とするため、電力や冷却設備の負担も大きくなります。Google Cloudによると91％のリーダーがハードウェア選定時に消費電力を考慮しており、61％が主要または重要な判断材料としているとのこと。Google Cloudは、TPU 8tが前世代比で約3倍の性能を発揮し、最大2倍のエネルギー効率を実現すると説明しています。

最終的にGoogle Cloudは、エージェント型AIを実験段階から本番環境へ進めるには低コストで運用でき、エッジでも安定して動き、最初から統制できる統合基盤が必要だと述べています。実際にGoogle CloudのAI Hypercomputerは、計算・ネットワーク・ストレージ・ソフトウェアをまとめて最適化する考え方に基づいて設計されているとのことです。