リアルタイム文字起こしや特定の人物の音声クローンが可能な音声AI群「Voxtral 3」

フランス企業のMistral AIが音声AI群「Voxtral 3」をリリースしました。高精度な文字起こしAIと、特定の人物の声をを再現できる音声合成AIが含まれています。

Voxtral 3: Voice Agent SDK & Speech Models in 50+ Languages
https://mistral.ai/news/voxtral-3/

Voxtral 3は複数のAIモデルをまとめた名称で、記事作成時点では以下の4種類がラインナップされています。ちょっとややこしいですが、MiniよりSmallの方が高性能です。

Voxtral Small Transcribe 3：50以上の言語に対応した高性能な文字起こモデル
Voxtral Mini Transcribe 3：コスト効率に優れた文字起こしモデル
Voxtral Mini Transcribe Realtime 3：リアルタイムでの文字起こしに特化したモデル
Voxtral Speech 3：35以上の言語と50以上の方言に対応した音声合成モデル

文字起こしのエラー率を比べたグラフが以下。Voxtral Small Transcribe 3とVoxtral Mini Transcribe 3は前世代モデルのVoxtral Mini Transcribe 2と比べてエラー率が低くなっています。

Voxtral Mini Transcribe Realtime 3はレイテンシが240ミリ秒の場合でもGPT Live Transcribeより高精度な文字起こしが可能で、レイテンシを長くするほど精度が向上します。

リアルタイム文字起こしの例は以下の動画で確認できます。

Voxtral STT 3 - Transcription demo - YouTube

Voxtral Speech 3は35以上の言語と50以上の方言に対応した音声合成モデルです。以下のグラフは横軸が100万文字当たりのコスト、縦軸が固有名詞や数字の読み上げ正確率を示しており、Voxtral Speech 3(Voxtral TTS)がGemini 3.8 Flash TTSと同等のコストで高性能であることが分かります。

30分の参考音声を用意することで、特定の人物の声をクローンすることもできます。音声クローンの実例は以下の動画で確認できます。

Voxtral TTS 3 - Voice Cloning Overview - YouTube

Voxtral 3はAPI経由で利用可能。価格はVoxtral Mini Transcribe 3が1分当たり0.0035ドル(約0.55円)、Voxtral Mini Transcribe Realtime 3が1分当たり0.008ドル(約1.26円)、Voxtral Small Transcribe 3が1分当たり0.0040ドル(約0.63円)、Voxtral Speech 3が100万文字当たり13ドル(約2055円)です。詳細は以下のリンク先で確認できます。

Audio | Mistral Docs
https://docs.mistral.ai/studio/audio/overview