2500万円をAIの作成した合成音声にだまし取られる詐欺事件が発生

by PublicDomainPictures

世界で初めてAIで作られた合成音声による詐欺被害が発生したことがわかりました。詐欺の被害にあったのはある企業で、被害額は2500万円にのぼります。

Fraudsters Used AI to Mimic CEO’s Voice in Unusual Cybercrime Case - WSJ
https://www.wsj.com/articles/fraudsters-use-ai-to-mimic-ceos-voice-in-unusual-cybercrime-case-11567157402

Artificial-intelligence voice is used in a theft - The Washington Post
https://www.washingtonpost.com/technology/2019/09/04/an-artificial-intelligence-first-voice-mimicking-software-reportedly-used-major-theft/?noredirect=on

Thieves Used Audio Deepfake of a CEO to Steal $243,000 - VICE
https://www.vice.com/en_us/article/d3a7qa/thieves-used-audio-deep-fake-of-a-ceo-to-steal-dollar243000

被害にあった企業の保険会社であるユーラーヘルメス信用保険会社によると、その企業のマネージャーはある午後に上司からの1本の電話を受けたとのこと。上司の声は「支払いが遅れたことによる追加料金を支払うため、ハンガリーの銀行口座に電信送金すること」「電話をしながらメールで明細を送信すること」と指示したそうです。これが上司を模した合成音声だったわけですが、合成音声は声色だけが同じというわけではなく、声の調子や言葉の区切り方、ドイツなまりまで再現されていたとユーラーヘルメスの広報は報告しています。

一度目の送金を終えたあと、同じ上司の声が再び電話をかけてきたことで、担当マネージャーは不審に思い、当の上司に自分から電話をかけなおしました。ユーラーヘルメスに宛てたメールの中でマネージャーは「私が本物のヨナスと会話している間も、合成音声のヨナスは私に話しかけ続けました」と記しています。

近年は本物の人物にそっくりの映像や音声を合成するAI技術が高度に発達してきています。2017年には有名女優の顔をポルノ映像と合成したフェイクポルノが話題となり、そこからディープフェイクと呼ばれる同様の技術が発展してきました。2019年9月、中国では1枚の顔写真から簡単にディープフェイク映像を作ることが可能なアプリ「ZAO」が登場し、大人気になりましたが、その後プライバシーの懸念も多く指摘されるようになっています。

顔写真1枚で簡単にディープフェイク映像を作成できる無料アプリ登場、中国で大人気に - GIGAZINE

また、うそのニュース映像が無限に作られることで、フェイクニュースが拡散され、真実とうその見分けがつかなくなるという危険性も指摘されています。

ディープフェイクで人造したFacebookのザッカーバーグCEOが「データの支配」について語るムービーが話題に - GIGAZINE

インターネットでは写真や映像を拡散していくことでマネタイズが可能であるため、例え技術的にフェイクニュースが検知可能になっても、その拡散を止めることは難しいと考えられています。テクノロジー関連の社会学者であるZeynep Tufecki氏はFacebookやGoogleの「人々を広告に対して柔軟にし、個人の政治的・個人的・社会的な情報の流れを作る」というビジネスモデルが問題であると指摘。これらの企業がビジネスモデルを変えない限り、ディープフェイク技術の進化に伴う問題はオンラインプラットフォームにつきまとうだろうと述べました。