ディープフェイクで合成された顔を見分ける鍵は「目の輝き」

AI技術を用いて架空の画像や映像を合成するディープフェイクは、人の目には真偽を見分けることが非常に難しい段階まで発展しており、実在しない人物の顔写真を簡単に作成できることからSNSなどでも大きな問題となっています。そんなディープフェイクの顔写真を、瞳に映った光の反射から見抜く技術を、ニューヨーク州立大学バッファロー校の研究チームが開発しました。

EXPOSING GAN-GENERATED FACES USING INCONSISTENT CORNEAL SPECULAR HIGHLIGHTS
(PDFファイル)https://arxiv.org/pdf/2009.11924.pdf

New AI tool detects Deepfakes by analyzing light reflections in the eyes
https://thenextweb.com/neural/2021/03/11/ai-detects-deepfakes-analyzing-light-reflections-in-the-cornea-eyes-gans-thispersondoesnotexist/

以下は、本物の人の顔(左)と敵対的生成ネットワーク(GAN)により生成された架空の人物の顔(右)を並べたもの。一見しただけでは両方とも本物の顔写真にしか見えませんが、瞳を拡大した下の図をよく見ると、角膜に反射した光の形が本物では左右でほぼ同じなのに対して、ディープフェイクでは左右バラバラになっています。

両目は同じものを見ているため、本物の顔は左右の目の映り込みも一致するのが普通です。しかし、多くの場合GANはこの類似性を正確に再現することができません。そのため、目の位置をマッピングするとともに、両目に映り込んだ光を分析することで、顔写真が本物かディープフェイクかを高精度で見分けることが可能だと研究者らは説明しています。

以下は、研究チームが開発した判別ツールで本物の人間の両目(上半分)とディープフェイクの両目(下半分)を分析した結果です。判別ツールは、本物の顔写真のIoUスコアを「0.5824～0.8406」で評価しましたが、ディープフェイクで合成された顔写真は「0.2429～0.3512」と評価しました。

この判別手法は、片目しか写真に写っていない場合には機能しないほか、被写体がカメラを見ていないと精度が大きく落ちるという欠点も抱えています。また、手動で瞳の光を修正することで、判別を困難にすることも可能とのこと。

研究チームは、「現段階では非常に洗練されたディープフェイクによる写真を検出することはできないものの、多くの粗雑なディープフェイク写真を見分けることが可能です」と述べて、今後この手法の有効性をさらに高める研究を行っていくとしました。