Want to spot a deepfake? Look for the stars in their eyes | The Royal Astronomical Society
https://ras.ac.uk/news-and-press/news/want-spot-deepfake-look-stars-their-eyes
Astronomers discover technique to spot AI fakes using galaxy-measurement tools | Ars Technica
https://arstechnica.com/information-technology/2024/07/astronomers-discover-technique-to-spot-ai-fakes-using-galaxy-measurement-tools/
ハル大学の修士課程の学生であるアデジュモケ・オウォラビ氏が、天文物理学教授のケビン・ピンブレッド博士の指導の下、人間の目の反射を分析することでディープフェイク画像を検出するという新しい手法を発表しました。同研究は2024年7月の第3週にイギリスで開催された2024年全国天文学会議の中で発表されています。
オウォラビ氏ら研究チームが発表したディープフェイク検出技術は、「同じ光源で照らされている一対の目は、通常は左右の眼球で同様の形状の光の反射を見せる」という単純な原理をベースとしています。
以下の写真は人間の両眼を撮影したもので、左右の眼球がほぼ同じ光の反射の仕方をしていることがわかるはず。
オウォラビ氏は左右の眼球の光の反射を自動で検出するためのツールを開発し、反射の形態学的特徴を指標に当てはめて左右の眼球で見られる光の反射の類似性を比較したと説明しています。そして、ディープフェイクでは左右の眼球の光の反射の形状が異なるケースが多いそうです。
以下はディープフェイクの左右の眼球。左右の眼球で光の反射の仕方が明らかに異なることがわかります。
オウォラビ氏が開発したツールは天文学で使用される手法を応用することで、眼球での光の反射を定量化して比較します。具体的には、銀河の画像における光の分布を測定する際に利用されるジニ係数を使って、眼球のピクセル全体にわたる反射の均一性を評価するとのこと。ジニ係数が0に近いほど光が均一に分散していることを示し、1に近いほど光がひとつのピクセルに集中していることを示します。
ピンブレッド博士は「眼球での光の反射形状の測定方法と、望遠鏡画像における銀河の形状を測定するために使用される手法を比較しました。銀河の形状を測定するには中心がコンパクトかどうかや、対称かどうか、どれだけ滑らかであるかなどを分析するために、光の分布を分析します」と語りました。
なお、研究チームは銀河の光の分布を測定するために使用される別のツールであるCASパラメータを利用する方法も検証していますが、この手法はディープフェイクを検出するにはあまり効果的ではなかったそうです。
眼球上での光の反射の仕方からディープフェイクを見分ける技術について、テクノロジーメディアのArs Technicaは「この方法はAIモデルが物理的に正確な眼球反射を再現できるように進化すれば、機能しなくなる可能性があります。また、この手法を活用するには眼球をはっきりと見ることができる高画質な画像が必要です」と指摘しています。
加えて、本物の写真であっても照明条件や後処理技術の違いによって眼球上での光の反射が左右で不一致になるケースもあるため、誤検知が発生するリスクもあるとのこと。しかし、眼球上での光の反射を分析する手法は、髪の質感・解剖学的構造・皮膚・背景の一貫性などをベースにディープフェイクを検出する手法よりも有用な可能性があるとArs Technicaは指摘しました。
ピンブレッド博士は同技術について「偽陽性や偽陰性が発生するケースがあり、すべてを正確に見分けられるわけではない」としながら、「この手法はディープフェイクを見破るための軍拡競争において、基礎となる攻撃計画を提供してくれます」と語りました。
