音声AIはなぜすぐに返事できるのか？OpenAIが「GPT-Live」の仕組みを解説

OpenAIが、人間との会話に素早く反応する音声AI「GPT-Live」を支えるリアルタイムシステムを約6カ月で構築した方法を公開しました。利用者とAIが同時に話せる仕組みや、複雑な処理を別のAIに任せながら会話を続ける設計、通信開始までの待ち時間を短縮する技術が解説されています。

How we built a realtime system for responsive voice AI in six months | OpenAI
https://openai.com/index/continuous-voice-interaction-with-gpt-live/

音声AIと話している途中で回答が始まったり、話し終わってから長い沈黙が続いたりすると、会話は不自然になります。従来の音声AIは利用者の発言終了を検出してから回答を生成していたため、判定が早ければ話を遮り、遅ければ返事も遅れるという課題がありました。

GPT-Liveでは発言終了を判定する専用モデルを音声処理の経路から外し、AI自身が音声を聞きながら話す「全二重通信」を採用しています。電話のように双方が同時に音声を送受信でき、GPT-Liveは話す、聞き続ける、待つ、割り込むといった判断を1秒間に何度も行うとのこと。

検索や複雑な推論が必要な場合は、GPT-Liveが会話を続けながら高性能な別モデルへ処理を任せます。別モデルの処理結果を待っている間も音声通信は専用の高速経路で続くため、検索やツールの実行が遅れても会話が止まりにくくなっています。

長時間の会話では代わりのモデルインスタンスを裏側で準備し、会話の文脈を読み込ませてから切り替えることで、実行環境の切り替えや文脈の圧縮による待ち時間を利用者に感じさせない設計になっています。

音声の配送には低遅延通信技術「WebRTC」が使われています。通常のWebRTCは接続開始時に複数回の通信が必要ですが、OpenAIはWebRTC Abridged Roundtrip Protocol(WARP)を開発し、音声やデータの通信開始に必要なネットワーク上の往復回数を6回から1回へ削減したとのこと。

GPT-Liveの仕組みはChatGPT Voiceに使われており、OpenAIは将来的にGPT-Live APIを提供し、音声対話をより多くの端末やアプリへ広げると述べています。