ディープフェイクの弱点を突いて偽物によるビデオ通話を見破る方法とは？

by Budiey

人工知能(AI)や機械学習などの技術を用いて精巧な偽のコンテンツを生成することができるディープフェイクは、「この世に存在しない架空の人物の写真」を作ることができたり、誰でも映画の予告編に登場できるサービスがあったりと、愉快な使い道がある一方で、求人募集の画像やビデオ通話での映像にディープフェイクを用いる詐欺が行われているとアメリカの連邦捜査局(FBI)が警告するケースも起きています。そんな中、「ビデオ通話の相手がディープフェイクを用いているかどうかを見分ける方法」について、テクノロジー系メディアのMetaphysic.aiがディープフェイクの弱点を指摘しながら解説しています。

To Uncover a Deepfake Video Call, Ask the Caller to Turn Sideways - Metaphysic.ai
https://metaphysic.ai/to-uncover-a-deepfake-video-call-ask-the-caller-to-turn-sideways/

2022年7月から8月にかけて、広告や市場の信頼性の促進を目指すカナダとアメリカの非営利組織であるベター・ビジネス・ビューロー(商業改善協会)は、「詐欺師はディープフェイクを使用して、有名人が製品を勧めているように見せたり、ダイエット商品が劇的な結果を出していると偽造したりして消費者をダマしています」と繰り返し警告しています。ベター・ビジネス・ビューローのアミー・ミッチェル氏は、ディープフェイクの対策として「画像や映像をじっくり見ることで、画面がぼやけているのを発見できます。音声の場合、途切れ途切れになっている不自然な部分を探してください」と提案しています。

一方で、保存された画像や映像を視聴するのと異なり、リアルタイムで映像を届けるビデオ通話では、通信やカメラの精度によりある程度カクカクした動きや映像のぼやけが起こりやすくなっています。しかし、Metaphysic.aiによると、ビデオ通話でのリアルタイムなディープフェイクがごく最近まで注目されていなかったため見過ごされていたものの、ディープフェイクには致命的な弱点があり見分けるのは簡単とのこと。Metaphysic.aiが指摘するディープフェイクの弱点とは、ディープフェイクは横顔を作成するのが得意ではないという点にあります。そのため、ビデオ通話の相手がディープフェイクを用いている可能性を疑う場合には、通話相手に「横を向いてください」と依頼するのが良いそうです。

以下の画像は、テストに参加したボブ・ドイル氏が、ディープフェイクを用いてさまざまな有名人の見た目を偽装してビデオ通話を行ったもの。シルベスター・スタローンやライアン・レイノルズといった有名俳優や、イーロン・マスクのような経営者、さらには女優であるアレクサンドラ・ダダリオに装ったものもあり、いずれも説得力を感じられます。しかし、それぞれの右側にある横を向いた写真を見ると、顔の表面が大きく崩れていたり、目元が描写されていなかったりと、ディープフェイクが生成した顔に問題があることが一目でわかります。

ディープフェイクの横顔が大きく崩れる原因として、Metaphysic.aiは「横を向いた時の輪郭や横顔の情報が、十分にトレーニングされていない」点を挙げています。以下の画像で示されているように、ディープフェイクのモデルが取得しているのは顔の正面に近いエリアのみであり、側頭部から頬にかけて十分なデータを得られていないため、ディープフェイクが顔の形を「発明」しているような状態になっているとのこと。

なぜディープフェイクが横顔のデータをあまり持っていないのかという点について、Metaphysic.aiは以下のように解説しています。ディープフェイク内の顔を検出するソフトウェアは、顔の方向や位置を合わせるアルゴリズムのために、ランドマークとなるポイントを中心として検出しています。その際、2015年の論文で公開された以下の画像で分かるように、まゆ毛や目元、鼻、口といった顔を構成する主なパーツをランドマークとするため、正面から見た顔に比べ、横顔だとランドマークの数が50％～60％まで減少してしまいます。このため、ランドマークで検出していない「AIが補うエリア」が横顔では大きくなるため、ディープフェイクによる横顔は「一貫性が低くなる」ことが問題だとMetaphysic.aiは指摘しています。

一方で、映像データが多いハリウッド俳優やテレビタレントの場合、データとして検出できる横顔がかなり多くなるため、かなり高度にディープフェイクで横顔を反映したムービーも公開されています。以下のムービーでは、映画「パルプ・フィクション」のかなり緊迫したシーンをコメディアンのジェリー・サインフェルド氏に置き換えてコメディチックにしたもので、横顔がしっかり描写されるシーンでありながら、横顔の輪郭や表面が崩れる様子はありません。これは人気のテレビタレントであるサインフェルド氏の映像が66時間分利用可能となっていたため実現できているものであり、通常は横顔を撮影する機会はあまり多くないため、ディープフェイクによるなりすましで横顔を再現することは難しくなっています。

Jerry Seinfeld in Pulp Fiction [DeepFake] - YouTube


AIに関するセキュリティ企業・Sensityの代表であるジョルジオ・パトリーニ氏には「ビデオ会議通話中のディープフェイク対策として、あらかじめ横顔を身元確認として提出してもらい、通話中に確認することは、実際にディープフェイクに対する保護として役立つ可能性があります。また、単純に最新のディープフェイクソフトウェアのほとんどは、顔を動かしたり真横に向いたりした場合の描写に失敗すると考えられます」とMetaphysic.aiにコメントしており、「横を向いてもらう」という方法の有効性を支持しています。また、ニューヨーク州立大学バッファロー校の工学応用科学部教授で、ディープフェイクの専門家であるリュウ・シーウェイ氏も同様に「横方向を向いてもらう」というディープフェイク対策を支持し、「横顔は現在のディープフェイク技術にとって大きな問題です。ディープフェイクは正面の顔には非常にうまく機能しますが、側面の顔にはうまく機能せず、AIが一種の推測をする形になってしまいます」と述べています。

一方でシーウェイ氏は、新世代の3Dランドマーク位置システムがディープフェイクネットワークのパフォーマンスを向上させる可能性があると考えているとのこと。ただし、これはあくまで横顔のデータを取得して反映しやすくなるというもので、「映像データの露出が多い有名人でなければ、一般的に横顔のデータはあまり得られない」というディープフェイクの問題を解決するものではありません。

しかし、台北大学が公開した論文(PDFファイル)では、ほとんど横顔が見られない正面の写真から、横顔のデータを違和感の少ない形で生成したサンプルが公開されています。

Metaphysic.aiはによると、顔を触ったり、顔の前で手を振ったりする動きもディープフェイクの品質を妨げることになりますが、これらの「ディープフェイクの顔と重なる部分の問題」を精巧にクリアする技術は発達しており、最新の状態では横顔が最も改善の余地がない対処法とMetaphysic.aiは強調しています。一方で、Hacker Newsではディープフェイクに関わる仕事をしていると名乗る人が「データが少ないというのは、小規模な詐欺師にとっての問題であり、悪意のある強力な詐欺師に対しての安心材料とは言い難いです。また、NeRFのような深層学習が成長するのは時間の問題です。横向きでディープフェイクを見破るのは5年後にも有効なテストですか？」と疑問視するコメントが投稿されています。Metaphysic.aiも、「横顔がディープフェイクから守られている」というのは「あくまで現状において」と繰り返しています。

最後にMetaphysic.aiは「ディープフェイクによるなりすまし・詐欺の最も脅威的な点は、私たちが予期していないことです。ディープフェイクによるムービーや音声といったコンテンツがどのように誤りやすいかしっかり認識していることが、ディープフェイク対策の重要な点となります」と語っています。