Metaが開発した音声生成AI「Voicebox」は「他人の声で文章を勝手に読ませる」ことが可能、危険過ぎるのでMetaは一般公開を避ける

FacebookやInstagramの運営元でAIの研究にも力を入れているMetaが音声生成AI「Voicebox」を2023年6月16日に発表しました。Voiceboxを使えば入力した文章を読み上げさせるだけでなく「音声の一部を編集する」「他人の声で文章を勝手に読ませる」といった悪用されそうな操作も可能です。MetaはVoiceboxが悪用される可能性を認めており、Voiceboxのモデルデータやコードの一般公開を控えています。

Introducing Voicebox: The Most Versatile AI for Speech Generation | Meta
https://about.fb.com/news/2023/06/introducing-voicebox-ai-for-speech-generation/

Introducing Voicebox: The first generative AI model for speech to generalize across tasks with state-of-the-art performance
https://ai.facebook.com/blog/voicebox-generative-ai-model-speech/

Voiceboxは「入力した文章を自然な声で読ませる」「他人の声を録音して、入力した文章を読ませる」「他人の声を録音して、入力した文章を指定した抑揚で読ませる」「他人の声を録音して、一部を編集する」といった操作が可能な音声生成AIです。Voiceboxの性能の高さは以下のツイートに含まれるムービーを再生すると一発で理解できます。

「他人の声を録音して、一部を編集する」という機能のデモは以下のページで多数公開されています。各デモを再生すると、どこが編集した部分なのか判別できないほど高精度な編集が可能であることが分かります。

Editing
https://voicebox.metademolab.com/edit.html

さらに、他人の音声を3秒程度録音するだけで長文を読み上げさせることも可能。以下のデモページでは、つぶやきのような短時間の音声を録音するだけで自由に文章を読み上げさせられることが確認できます。

Zero-Shot TTS
https://voicebox.metademolab.com/zs_tts.html

Voiceboxの各種デモを確認すると、「他人の声で文章を勝手に読ませる」という操作を非常に高い精度で実行できるため、悪用される危険性も高いことがわかります。MetaもVoiceboxが悪用されるリスクを認めており、Voiceboxの学習モデルおよびコードの一般公開を控えています。ただし、Metaは「本物の音声とVoiceboxで生成した音声を区別するための効果的なシステム」も開発したと述べており、将来的には本物の音声とAI生成音声を区別する仕組みが構築される可能性もあります。