ついにYouTubeがAIによる「自動翻訳吹き替え」機能を搭載へ

Googleの社内スタートアップ部門であるArea 120の一部である「Aloud」は、AIによる音声・ムービーの文字起こしや吹き替えを研究しています。YouTubeがAloudからAIによる自動翻訳吹き替えに関する研究チームを引き継ぎ、同機能を2024年までに搭載することを2023年6月22日に発表しました。

Aloud - dubbing for everyone
https://aloud.area120.google.com/

YouTube is getting AI-powered dubbing - The Verge
https://www.theverge.com/2023/6/22/23769881/youtube-ai-dubbing-aloud

実際にYouTubeの吹き替え機能がどんな感じなのかは、以下のムービーでチェックすることができます。

Aloud: Let's overcome the language barrier in videos together - YouTube

上記ムービーのプレイヤー右下にある歯車アイコンをクリックすると、「音声トラック(5)」という項目があり、ここから吹き替え音声に切り替えることができます。

音声はオリジナルの英語に加え、吹き替え音声としてスペイン語・インドネシア語・ポルトガル語・ヒンディー語が選択できます。実際に切り替えてみると、ムービーの後ろで流れているBGMはそのままに、人の声だけが別言語に翻訳されて吹き替えられているのがわかります。

IT系ニュースサイトのThe Vergeによると、YouTubeはすでに数百人のクリエイターを対象にこの自動翻訳吹き替えツールをテストしており、2024年に正式に実装する予定とのこと。記事作成時点では英語・スペイン語・ポルトガル語の吹き替えが可能で、将来的にさらに多くの言語がサポートされるそうです。

YouTubeは「翻訳された音声トラックを、より多くの表現力と口パクでクリエイターの声のように聞こえるようにすることに取り組んでいます」と述べています。なお、この「口パク」とは、2023年5月に開催されたGoogleの開発者向け会議「Google I/O 2023」の基調講演で明らかにされたAI技術「Universal Translator」のことと考えられます。

Googleがムービーの自動吹替＆リップシンクAIを開発中、声色を変えずに吹替可能で高性能すぎて悪用注意とのこと - GIGAZINE