ソフトウェア

2500万円をAIの作成した合成音声にだまし取られる詐欺事件が発生

by PublicDomainPictures

世界で初めてAIで作られた合成音声による詐欺被害が発生したことがわかりました。詐欺の被害にあったのはある企業で、被害額は2500万円にのぼります。

Fraudsters Used AI to Mimic CEO’s Voice in Unusual Cybercrime Case - WSJ
https://www.wsj.com/articles/fraudsters-use-ai-to-mimic-ceos-voice-in-unusual-cybercrime-case-11567157402

Artificial-intelligence voice is used in a theft - The Washington Post
https://www.washingtonpost.com/technology/2019/09/04/an-artificial-intelligence-first-voice-mimicking-software-reportedly-used-major-theft/?noredirect=on

Thieves Used Audio Deepfake of a CEO to Steal $243,000 - VICE
https://www.vice.com/en_us/article/d3a7qa/thieves-used-audio-deep-fake-of-a-ceo-to-steal-dollar243000


被害にあった企業の保険会社であるユーラーヘルメス信用保険会社によると、その企業のマネージャーはある午後に上司からの1本の電話を受けたとのこと。上司の声は「支払いが遅れたことによる追加料金を支払うため、ハンガリーの銀行口座に電信送金すること」「電話をしながらメールで明細を送信すること」と指示したそうです。これが上司を模した合成音声だったわけですが、合成音声は声色だけが同じというわけではなく、声の調子や言葉の区切り方、ドイツなまりまで再現されていたとユーラーヘルメスの広報は報告しています。

一度目の送金を終えたあと、同じ上司の声が再び電話をかけてきたことで、担当マネージャーは不審に思い、当の上司に自分から電話をかけなおしました。ユーラーヘルメスに宛てたメールの中でマネージャーは「私が本物のヨナスと会話している間も、合成音声のヨナスは私に話しかけ続けました」と記しています。


近年は本物の人物にそっくりの映像や音声を合成するAI技術が高度に発達してきています。2017年には有名女優の顔をポルノ映像と合成したフェイクポルノが話題となり、そこからディープフェイクと呼ばれる同様の技術が発展してきました。2019年9月、中国では1枚の顔写真から簡単にディープフェイク映像を作ることが可能なアプリ「ZAO」が登場し、大人気になりましたが、その後プライバシーの懸念も多く指摘されるようになっています。

顔写真1枚で簡単にディープフェイク映像を作成できる無料アプリ登場、中国で大人気に - GIGAZINE


また、うそのニュース映像が無限に作られることで、フェイクニュースが拡散され、真実とうその見分けがつかなくなるという危険性も指摘されています。

ディープフェイクで人造したFacebookのザッカーバーグCEOが「データの支配」について語るムービーが話題に - GIGAZINE


インターネットでは写真や映像を拡散していくことでマネタイズが可能であるため、例え技術的にフェイクニュースが検知可能になっても、その拡散を止めることは難しいと考えられています。テクノロジー関連の社会学者であるZeynep Tufecki氏はFacebookやGoogleの「人々を広告に対して柔軟にし、個人の政治的・個人的・社会的な情報の流れを作る」というビジネスモデルが問題であると指摘。これらの企業がビジネスモデルを変えない限り、ディープフェイク技術の進化に伴う問題はオンラインプラットフォームにつきまとうだろうと述べました。

この記事のタイトルとURLをコピーする

・関連記事
顔写真1枚で簡単にディープフェイク映像を作成できる無料アプリ登場、中国で大人気に - GIGAZINE

現実の人間とAI製の顔画像を見抜けるかどうかテストする「Which Face is Real?」レビュー - GIGAZINE

ディープフェイクで人造したFacebookのザッカーバーグCEOが「データの支配」について語るムービーが話題に - GIGAZINE

1枚の写真と音声データから「人が話す映像」を作れる驚異の技術が登場 - GIGAZINE

AIを使って作られたフェイクニュースに人間はどうやって対処していけばいいのか? - GIGAZINE

「危険すぎる」と言われたAIの自動文章作成ツール「GPT-2」のモデルが新たに公開へ - GIGAZINE

in ソフトウェア, Posted by logq_fa

You can read the machine translated English article here.