アメリカでは警察がAI生成の少女の画像を使用しておとり捜査をしている

警察がAIで生成した少女の画像を使い、性犯罪者を捕まえるおとり捜査を行っていると報じられました。捜査の過程で、オンラインコミュニケーションサービス「Snapchat」で不適切なモデレーションがあった可能性が浮上しています。

Attorney General Raúl Torrez Files Lawsuit Against Snap, Inc. To Protect Children from Sextortion, Sexual Exploitation, and Other Harms - New Mexico Department of Justice
https://nmdoj.gov/press-release/attorney-general-raul-torrez-files-lawsuit-against-snap-inc-to-protect-children-from-sextortion-sexual-exploitation-and-other-harms/

Cops lure pedophiles with AI pics of teen girl. Ethical triumph or new disaster? | Ars Technica
https://arstechnica.com/tech-policy/2024/09/cops-lure-pedophiles-with-ai-pics-of-teen-girl-ethical-triumph-or-new-disaster/

2024年9月5日、ニューメキシコ州司法長官がSnapchatを相手取って訴訟を起こしました。ニューメキシコ州によると、Snapchatのアルゴリズムは児童性的虐待コンテンツ(CSAM)を流通させようとする人にとって都合がいいものに設計されていて、CSAMを扱うアカウント同士がアルゴリズムを通じて出会い、つながることができるといいます。

ニューメキシコ州の司法当局が14歳の少女を装ったアカウントを作成しておとり捜査を実施したところ、そのアカウントはフォロワーを能動的に増やさなかったにもかかわらず、すぐに「child.rape」や「pedo_lover10」といった名前のアカウントにおすすめされるようになったとのこと。

そして、おとりアカウントがたった1つのアカウントからのフォローリクエストを受け入れた結果、レコメンデーションはさらに悪化し、CSAMを含む、あるいはCSAMを交換しようとする多数の成人ユーザーともつながるようになったそうです。テクノロジー系メディアのArs Technicaは「司法当局はアカウント作成のためにAIを使用していた」と伝えました。

また、おとりアカウントが性的に露骨な言葉を使用していないにもかかわらずCSAMが表示されたことについて、「他のティーンユーザーを検索する行為を、CSAMを探している行為だとSnapchatは見なしているに違いない」と司法当局は指摘しています。

ニューメキシコ州司法長官は、こうしたアルゴリズムがCSAMの共有を促進し、児童の性的搾取を進行させているとして、Snapchatに是正を求めました。

調査によると、実際にSnapchatでやりとりした結果被害を受けた児童が多くおり、2023年だけで1万件以上のCSAM関連記録が見つかっているとのことです。その中には13歳未満の未成年者が性的暴行を受けたという情報も含まれていました。過去にはSnapchatの機能を通じて知り合った11歳の少女をレイプし、禁錮18年の判決を受けた人物もいたといいます。

今回の司法当局の発表に対しては、捜査が進みプラットフォームが健全になることを歓迎する声もあれば、AIで児童の画像を生成したという点を懸念する声もあります。性犯罪を専門とする弁護士キャリー・ゴールドバーグ氏は、「AIが生成した画像が実際の子どもの虐待を描写するようであれば有害だと言えます。AIでおとり捜査をするということは実際の子どもの画像を使うよりも問題が少ないため、より倫理的だと考えられますが、容疑者が『おとり捜査によって犯罪を犯すように仕向けられた』と言えば自分を守ることができるという別の問題も発生します」と述べました。