MicrosoftがYouTubeなどの動画を吹き替えや字幕でリアルタイム翻訳するEdge向けの新AI機能を公開

現地時間の2024年5月20日、MicrosoftがウェブブラウザのMicrosoft Edge向けに、YouTubeなどのサイトに投稿された動画をAIを活用してリアルタイム翻訳し、吹き替えと字幕を提供する機能を発表しました。

Microsoft Edge will translate and dub YouTube videos as you’re watching them - The Verge
https://www.theverge.com/2024/5/21/24160664/microsoft-edge-real-time-video-translation-ai

Microsoft Edge getting real-time translation and dubbing of videos
https://www.androidheadlines.com/2024/05/microsoft-edge-getting-real-time-translation-and-dubbing-of-videos.html

Microsoft Edge will use AI to add real-time translation to videos: 3 new features | Mashable
https://mashable.com/article/microsoft-edge-real-time-video-translation-explained

Edge上での動画のリアルタイム翻訳に対応するサイトは、YouTubeやLinkedIn、Courseraのほか、ロイター通信やCNBC、Bloombergなどのニュースサイトも含まれます。

これらのサイトでは、英語からドイツ語・ヒンディー語・イタリア語・ロシア語・スペイン語またはスペイン語から英語へのリアルタイム翻訳が可能です。

Microsoftはリアルタイム翻訳機能のデモを以下の動画で公開しています。

Real Time Video Translation - YouTube

翻訳を利用するには、動画の再生中に画面に表示される「a/あ」ボタンをクリック。

再生されている動画の言語と、翻訳したい言語を選択します。

翻訳を提供する「Audio(音声)」と「Subtitles(字幕)」のいずれか、またはその両方にチェックを入れ、「Translate(翻訳)」をクリックします。

処理が行われます。

処理の開始からわずか数秒で、英語の音声がスペイン語の合成音声に切り替わりました。

Microsoftはこの機能について「インターネット上には膨大な数の動画が存在していますが、それらの多くは言葉の壁に直面して理解できなかったり、耳が不自由なことによって楽しめなかったりといった問題を抱えています」と述べ、リアルタイム翻訳機能がこれらの課題を打開するきっかけとなる可能性を示しました。また、将来的に対応言語や動画プラットフォームを拡大する計画もあることを明かしています。