AIでクローン音声を作成するサービスを提供する企業のなりすまし対策は不十分なことが調査で発覚

近年は生成AIの発達により、わずか数秒のオーディオファイルから人の声を模倣することが可能となっており、AIでクローン音声を作成するサービスも登場しています。さまざまな製品やサービスの評価を発表しているコンシューマー・レポートによると、多くのクローン音声作成サービスは悪意のあるなりすましや誤用を防ぐ対策が不十分だとのことです。

Consumer Reports’ Assessment of AI Voice Cloning Products - Consumer Reports
https://www.consumerreports.org/media-room/press-releases/2025/03/consumer-reports-assessment-of-ai-voice-cloning-products/

AI can steal your voice, and there's not much you can do about it
https://www.nbcnews.com/tech/security/ai-voice-cloning-software-flimsy-guardrails-report-finds-rcna195131

Consumer Reports calls out poor AI voice-cloning safeguards • The Register
https://www.theregister.com/2025/03/10/ai_voice_cloning_safeguards/

多くのAIによるクローン音声作成サービスは、特定の個人が話している短いオーディオクリップのみを使用して、人工的なクローン音声を作成することができます。これらのクローン音声には、オーディオ編集を高速化したり、映画の吹き替えに役立てたり、ナレーションを自動化したり、声を失った人が自分の声でスピーチできるようにしたりと、多くの正当な用途があります。

しかし、適切な保護手段がなければ、悪意のある人間が第三者のオーディオファイルを用いて勝手にクローン音声を作成し、その音声を悪用して詐欺を行ったり、怪しげな製品の宣伝を行わせたり、個人の名誉をおとしめる発言をさせたりすることが可能になってしまいます。

すでにAIによるクローン音声を悪用した事例は複数報告されており、2023年にはAIツールを使って「エマ・ワトソンの声でアドルフ・ヒトラーの著書『わが闘争』を読み上げさせる」などの事例が発生しています。また、2024年には「高校の校長を追い出すため、AIを用いて校長が『人種差別的かつ反ユダヤ主義的なコメントをする音声』を作成・拡散した教師が逮捕される」という事件が報じられました。

AI合成音声で学校の校長を追放しようとした体育教師が逮捕される - GIGAZINE

コンシューマー・レポートは2025年3月10日、AIを用いたクローン音声作成サービスを提供するDescript・ElevenLabs・Lovo・PlayHT・Resemble AI・Speechifyの6社を対象に、サービスの悪用や誤用を防ぐ対策がどの程度取られているのかを調査した結果を発表しました。

調査の結果、対象となった6社のうちElevenLabs・Speechify・PlayHT・Lovoの4社で、ユーザーが第三者の音声クローンを作成するのを防ぐ技術的なメカニズムが採用されていないことがわかりました。これらの企業は、ユーザーがクローン音声を作成する法的権利を持っていることを確認していましたが、ユーザーは実際の権利にかかわらずボックスにチェックを入れるだけでクローン音声を作成できたとのこと。

また、Resemble AIはクローン音声を作成する際、オーディオファイルをアップロードするだけでなく、リアルタイムでオーディオを録音することをユーザーに求めています。これは第三者によるクローン音声の作成を防ぐ方法のひとつですが、コンシューマー・レポートは別のデバイスで録音した音声を再生することで、この制限を回避できたと報告しています。

残るDescriptはクローン音声を作成するユーザーに対し、「同意書の文章を読み上げる」ことを要求していました。これは、すでに別のサービスで標的のクローン音声が作成されていた場合を除き、悪用に対する保護としてある程度有効な対策といえます。

さらにコンシューマー・レポートは、ユーザーのアカウント開設が簡単すぎることも悪用へのハードルを下げると指摘。6社のうちSpeechify・Lovo・PlayHT・Descriptの4社は、名前とメールアドレスだけでアカウント開設が可能だったとのことです。一方、ElevenLabsやResemble AIはアカウント開設の際、クレジットカード情報や支払い情報が必要でした。

コンシューマー・レポートはこれらのAIによるクローン音声サービスを提供する企業に対し、消費者を自社サービスのリスクから保護する手段を強化するよう求めています。コンシューマー・レポートの具体的な推奨事項は以下の通り。

・指定した文章を読み上げたオーディオのアップロードを求めるなどして、クローン音声が作られる本人の同意があることを確認する。
・クローン音声を悪用したユーザーを特定できるよう、ユーザーのクレジットカード情報などを収集する。
・AIが生成したクローン音声にウォーターマーク(透かし)を入れ、検出できるようにする。
・オーディオが自社サービスによって生成されたかどうか検出できるツールを作成する。
・有名人や政治家など、影響力のある人物のクローン音声作成を検出・防止する。
・詐欺や性的なコンテンツなどで使用されるフレーズにフラグを立て、生成を禁止できる体系的な措置を講じる。
・クローン音声作成サービスの提供範囲を特定のユーザーや企業に限定し、悪用された場合の責任の所在まで契約で定める。

コンシューマー・レポートの政策アナリストであるグレース・ゲディ氏は、「AIのクローン音声ツールは、なりすまし詐欺を急増させる可能性があります。私たちの評価では、本人の知らないうちに音声クローンを作成するのを難しくするため、企業が講じることができる基本的な手順があることを示しています。しかし、一部の企業はその手順を守っていません。私たちは企業に対し、悪用を防ぐための基準を引き上げるよう求めると共に、各州の検事総長と連邦政府に対して既存の消費者保護法を施行し、新たな規則が必要かどうか検討するよう求めています」と述べました。