AIでクローン音声を生成する最新ツールが4chan民により「エマ・ワトソンの声で『わが闘争』を読み上げさせる」など悪用されまくる事態に

ポーランドに拠点を置くAIスタートアップのElevenLabsは、音声サンプルから「声のクローン」を作成してさまざまな文章を読み上げさせるツールを開発しています。ElevenLabsが最新ツールのベータ版を公開したところ、海外掲示板・4chanのユーザーたちにより「有名人の声で人種差別発言や不謹慎なことを言わせる」といった悪用事例が急増してしまったと報じられています。

AI-Generated Voice Firm Clamps Down After 4chan Makes Celebrity Voices for Abuse
https://www.vice.com/en/article/dy7mww/ai-voice-firm-4chan-celebrity-voices-emma-watson-joe-rogan-elevenlabs

ElevenLabsは元Googleの機械学習エンジニアであるPiotr Dabkowski氏らが設立したAIスタートアップであり、ゼロから新しい音声を設計する「合成音声作成ツール」と、サンプルの音声を基に文章を読み上げさせる「クローン音声作成ツール」を提供しています。前者の「合成音声作成ツール」については、以下の記事を読むとよくわかります。

まったく新しい合成音声をユーザーが独自設計できる生成モデル「Design Voice」 - GIGAZINE

「クローン音声作成ツール」の場合、1分を超えるクリーンな音声サンプルを入力すれば、そのサンプルを基にクローン音声を生成できるとのこと。ターゲットとなるユースケースとして、ElevenLabsはニュースレターや書籍の読み上げ、動画内の音声などに利用できるとしています。

ところが、ElevenLabsがクローン音声作成ツールのベータ版を公開したところ、4chanユーザーが「有名人の声で人種差別発言や不謹慎なことを言わせる」といった悪用を始めてしまいました。一例では、「女優のエマ・ワトソン氏の声でナチス指導者アドルフ・ヒトラーの著書『わが闘争』を読み上げさせる」といったものが確認されています。

「ワトソン氏の声で『わが闘争』を読み上げさせた」音声は、以下の動画で確認できます。本物のインタビュー動画などの音声と聞き比べてみると、確かにワトソン氏の声らしく聞こえることがわかります。

Emma Watson Reads A Book For You [Old Book Review] - YouTube

他にも、「保守派の政治評論家であるベン・シャピーロ氏の声で民主党議員のアレクサンドリア・オカシオ＝コルテス氏への人種差別的発言を言わせる」「声優がDVで逮捕されたアニメキャラの声で『私は妻を殴り殺す』と言わせる」といった悪用事例が発見されているとのこと。4chanに投稿された音声には無害なものもありますが、暴力的なもの、同性愛やトランスジェンダーを嫌悪するもの、人種差別的なものも多く存在します。

海外メディアのViceは、「AI生成音声スタートアップがインターネットの荒らしに遊ばれるようになるのは時間の問題でした」「4chanにアップロードされたクリップは有名人に焦点を当てたものです。しかし、生成された音声の質の高さと、クローン音声の作成が容易であることから、ディープフェイク音声クリップの迫り来る危険性を浮き彫りにしています」と指摘しました。

ElevenLabsも一連の事態を認識しており、1月30日のツイートで「クレイジーな週末でした。ベータ版プラットフォームをお試しいただき、ありがとうございます。私たちの技術は圧倒的にポジティブな用途に適用されていますが、音声複製の悪用事例も増えています」と述べています。

AIによるクローン音声の悪用問題に対処するため、ElevenLabsは「ツールを有効にするため追加のアカウント検証を導入する」「入力する音声にテキストを添付させて音声の著作権を確認する」「ツールを完全に削除する」といった対策例を挙げ、ユーザーからのアイデアを募っています。