Googleがムービーの自動吹替＆リップシンクAIを開発中、声色を変えずに吹替可能で高性能すぎて悪用注意とのこと

2023年5月11日(木)に開催された「Google I/O 2023」の基調講演で、ムービーの吹替音声を自動生成しつつ口の動きも変化させられるAI技術「Universal Translator」が発表されました。

Google I/O 2023
https://io.google/2023/intl/ja/

Universal Translatorの発表は以下のムービーの1時間14分38秒頃から確認できます。

Google Keynote (Google I/O ‘23) - YouTube


Universal Translatorはムービー内の音声を認識し、声色を変えずに別の言語へ翻訳するAIです。GoogleはUniversal Translatorを用いて大学のオンライン講義を自動吹替するデモを公開しています。

オリジナルのムービーは英語で講義が進められます。

吹替版のムービーでは、オリジナルムービーと同じ声色を保ちつつ別の言語で講義が進みます。また、音声に合わせて口の動きも変化しています。

Universal Translatorは「翻訳」「イントネーションの調整」「話者の声色を再現した音声の生成」「口の動き調整」という段階を経て吹替機能を実現しているとのこと。

Universal Translatorの吹替機能は非常に強力ですが、ディープフェイクの制作などに悪用される可能性もあります。このため、GoogleはUniversal Translatorを認証されたパートナーにのみ提供するとのことです。