「あー」「えー」などを自動削除しつつリアルタイムで文字起こししできる音声認識モデル「Gemini 3.5 Transcribe」をGoogleが発表

ノイズや複雑な専門用語、話し言葉などにも苦しむことなく、生の音声データから正確で洗練された書式設定済みテキストを生成できる音声認識モデル「Gemini 3.5 Transcribe」をGoogleが発表しました。

Introducing Gemini 3.5 Transcribe
https://blog.google/innovation-and-ai/models-and-research/gemini-models/gemini-3-5-transcribe/

「Gemini 3.5 Transcribe」は音声エージェント、リアルタイム字幕ツール、通話内容分析パイプラインなど、どんな開発ワークフローにでもシームレスに組み込めるよう設計された文字起こしAIで、Live APIとInteractions APIの2つのAPI経由で利用可能です。

Live APIは、対話型音声アプリ向けに1秒未満のレイテンシーで継続的双方向ストリーミングを提供するもの。Interactions APIは録音された音声を話者ごとに識別した上で、単語単位のタイムスタンプ付きで文字起こしをしてくれます。

すでにAndroidの音声入力機能「Rambler」やmacOS版Geminiの音声機能などを通じて、Gemini 3.5 Transcribeの恩恵はユーザーに届いていますが、今後、開発者はGoogle AI StudioのGemini APIやGemini Enterprise Agent Platformでも、Gemini 3.5 Transcribeを活用して同種の機能を構築できるようになります。


文字起こしでは「あー」「えー」のように、相づちや次の言葉を考える間に発しただけの特に意味のない間投詞を自動的に削除します。平均の単語誤り率(WER)はストリーミング時で4.0％、非ストリーミング時だと2.6％を達成。対応言語は85以上で、専門用語や独自のつづりに対応するカスタム語彙の追加にも対応しています。

先行する文字起こしモデル「Chirp 3」と比べると大幅な進化を遂げており、Artificial Analysisによる測定では、最終的な文字起こしまでの所要時間が70％短縮されたとのこと。

以下は102言語の音声認識・言語評価モデル用多言語音声データセット・FLEURSのストリーミング時ベンチマークスコア。値が低いほど優秀で、Gemini 3.5 TranscribeはChirp 3をはじめとした他モデルより優秀と評価されています。

非ストリーミング時も同様です。