「違法画像の検出システムは簡単にだませる」ことを示した実例はこんな感じ

近年はデバイスや通信のプライバシーが向上した結果、児童性的虐待コンテンツ(CSAM)などの違法な画像のやり取りが容易になったという問題が生まれています。この問題に対処するため、端末に保存される画像から違法画像を検出する仕組みが開発されていますが、新たな研究で、「アルゴリズムをだまして検出システムを回避することは容易である」ということが示されました。

Adversarial Detection Avoidance Attacks: Evaluating the robustness of perceptual hashing-based client-side scanning | USENIX
https://www.usenix.org/conference/usenixsecurity22/presentation/jain

Proposed illegal image detectors on devices are ‘easily fooled’ | Imperial News | Imperial College London
https://www.imperial.ac.uk/news/231778/proposed-illegal-image-detectors-devices-easily/

プライバシーの高さを売りとするApple製品は「児童ポルノの配布に最適なプラットフォーム」と言われることがあったとして、Apple製品は2021年8月に「iPhoneの写真やメッセージをスキャンして児童の性的搾取を防ぐ」ことを目的とした新たな安全機能の導入を発表。これに対し、「プライバシー侵害だ」という声が多方から上がりました。

AppleがiPhoneの写真やメッセージをスキャンして児童の性的搾取を防ぐと発表、電子フロンティア財団などから「ユーザーのセキュリティとプライバシーを損なう」という抗議の声も - GIGAZINE

その後Appleは批判を受けて安全機能導入の延期を発表しました。しかし、スマートフォンやタブレット、ラップトップなどにスキャンシステムを搭載させ違法コンテンツを検出しようという試みは、Apple以外の企業や政府からも提案されています。インペリアル・カレッジ・ロンドンの研究チームは、このようなスキャナが実際に正しく機能するかどうかを調べました。

Appleが発表した安全機能は、端末やクラウドに保管されている画像からハッシュ値を生成し、既知のCSAMのデータベースと照合して児童ポルノなどを検知する仕組みです。これはPerceptual hashing based client-side scanning(クライアント側のスキャンをベースにした知覚的ハッシュ法／PH-CSS)アルゴリズムを利用しています。

PH-CSSアルゴリズムを端的にいうと、端末に保存されている画像をふるいにかけ、その「サイン」を違法画像が持つ「サイン」と比較し、一致が認められればアルゴリズムを運用する企業や法執行機関に速やかに連絡するというもの。このアルゴリズムのロバストネスを調べるため、研究チームは「回避検出攻撃」と呼ばれる新しいテスト方法を使用して、フィルタリングを施した違法画像がアルゴリズムを回避できるかどうかを調べました。

研究チームはまず、無害な画像に「違法」というタグをつけ、Appleのアルゴリズムに似た独自のアルゴリズムに学習させました。そして、アルゴリズムが適切に違法画像のフラグ付けができることを確認したのちに、今度は同じ画像に目には見えないフィルターを適用させ、再度アルゴリズムに与えたとのこと。

フィルターを施した画像とフィルターを施していない画像は、人間の目にとっては同様ですが、テストの結果、アルゴリズムにとっては99.9％「別物」と認識されたとのこと。以下は左側がオリジナルの画像、右がフィルタリングを施した画像となっています。

これはつまり、違法画像を持っている人がアルゴリズムを欺くことが容易であるということを示すと、研究チームは述べています。なお、この結果を受けて、研究チームはフィルター生成ソフトウェアを公開しないことに決めたとのことです。