GoogleがAIを活用してネット上の「児童を搾取する違法なポルノコンテンツ」を自動で見つけ出すツールを開発

インターネット上には児童ポルノなどの未成年者をターゲットにした性的素材(child sexual abuse material ：CSAM)が多く存在しています。CSAMをネット上から排除する作業は人間の手で行われていますが、次々と登場するCSAMに対処できないのが現状です。そこで、GoogleはCSAMに向き合う人間を助けるべく、AIを活用したCSAMを判定するツール「Content Safety API」を開発しています。

Using AI to help organizations detect and report child sexual abuse material online
https://www.blog.google/around-the-globe/google-europe/using-ai-help-organizations-detect-and-report-child-sexual-abuse-material-online/

違法な児童ポルノがネット上で表示されるのを防ぐために、Googleなどのコンテンツプロバイダーは監視活動を行っています。しかし、特定のコンテンツをネット上から削除する行為は「表現の自由」の侵害にもなりかねないことから、コンテンツの違法性については人間による慎重な判断が避けられません。

Googleで児童ポルノやグロテスクなコンテンツがないか監視し続けた男性 - GIGAZINE

CSAMを監視し続ける人は生身の人間であり、削除活動は精神的に過酷なことが知られています。

Microsoftのオンライン安全担当者が殺人や児童ポルノなどを見続けてPTSDになったとして会社を訴える - GIGAZINE

また、従来のCSAMの監視活動で導入されていたツールは、すでに報告済みの違法なCSAMのハッシュ値とのマッチングに依存したもので、再アップロードを予防するためのもの。そのため、限られた人員の下では新たに登場するCSAMについての対処が追いつかないという状態にありました。

児童ポルノ画像撲滅に向けGoogle・Twitter・Facebookなどが自動で違反画像をブロックできるように「ハッシュリスト」を共有 - GIGAZINE

Googleはディープラーニングを用いた画像・映像認識技術によってコンテンツを自動判断し、CSAMをあぶりだす「Content Safety API」を開発しました。Content Safety APIは、無数にあるインターネットコンテンツをAIによって自動判別させ、CSAMの疑いがあり人間の目によるチェックが必要なものを検出することができ、検出したコンテンツを対処の必要性や緊急性に応じて並び替えられます。ネットを監視する人間はCSAMから出された重要度の高いコンテンツから順にCSAMとして削除するかどうかの判断を行うことができ、作業を効率化できるというわけです。

GoogleによるとContent Safety APIを導入することで、あるケースでは従来よりも8倍の数のCSAMを発見することに成功したとのことで、少ない人員でも作業を効率的かつスピーディーに行えるようになっています。

by Trey Ratcliff

CSAM排除の活動を行うInternet Watch Foundationのスージー・ハーグリーブス代表は、「これまで検出することができなかった違法コンテンツをあぶりだし、人間の専門家がより大きなスケールで判断できる資料を提供し、犯罪者の違法アップロード行為に追いつくことを助ける人工知能ツールが開発されたことに興奮しています」と述べ、AIを活用したCSAM対抗ツールを歓迎しています。