AI

OpenAIが児童ポルノ検出ツールを開発し監視団体に提供開始


OpenAIがAI生成画像を含む児童性的虐待コンテンツの検出を支援するツールを発表しました。新しいツールで監視団体を支援するとともに、ChatGPTに新しい警告機能を追加し、開発者向けガイダンスを公開することで、オンライン児童性的虐待との闘いを強化することを掲げています。

Strengthening the fight against online child sexual abuse with new tools and support | OpenAI
https://openai.com/index/strengthening-online-child-safety/


OpenAIによると、児童性的虐待コンテンツ(CSAM)を検出できる新しい分類器は、虐待の視覚的な兆候を探し出し、これまで確認されていなかった可能性のある新しい画像を特定するのに役立つとのこと。また、監視担当者がどの画像に優先的に対応する必要があるかを判断するのに役立つスコアを返すことで、監視団体を支援します。

OpenAIは「CSAMがAIによって生成された可能性があるかどうかを示す明確なシグナルを備えた、広く利用可能な初のCSAM分類器です」と述べています。


OpenAIは全米行方不明・被虐待児童センター(NCMEC)の支援を受け、実世界での導入に向けて分類器の訓練・評価・設計を実施しました。分類器がどれだけの不適切なコンテンツを検出するか、他の画像をどれくらいの頻度でフラグ付けするか、そして安全チームをどれだけ支援できるかを測定するために、社内および初期のパートナー企業とテストを実施。その結果、初期のテストでは、分類器がレビュー担当者が不適切な画像に集中するのを助け、誤検出のレビューを減らせることが示唆されています。

加えて、新しい分類器を従来の保護機能と比較したところ、「既存のツールとほぼ同数の不適切な画像を検出しながら、フラグ付けされる画像数を48%削減できると推定されたことで、新しい分類器は審査作業を軽減できる可能性がある」「新しい分類器によってフラグが立てられた画像は、虐待が含まれている可能性が約2倍高かった」ということが判明しています。

OpenAIは厳選された組織に対しCSAM分類器を無償で提供することで、児童保護団体や規模の異なるチームを持つ組織を含む幅広い業界にとって、CSAMの検出をより身近なものにしていくとしています。

OpenAIでは以前からCSAMを禁止し、CSAMに関する要求を拒否するようにモデルを訓練し、ポリシーに違反するアカウントに対して措置を講じていました。新しい分類器の提供に合わせて、ChatGPTでも安全対策をさらに強化するため、新しい「製品警告機能」を導入したことが発表されています。この機能は、有害なコンテンツを見つけようとする試みを阻止し、「AIが生成したコンテンツであっても子どもを性的対象化することは有害である」と警告を表示した後、問題のある会話を削除した上でChatGPTへのアクセスを24時間停止します。違反が繰り返されると制限期間がより長くなるほか、最終的にはアカウントの閉鎖や当局への通報につながる可能性があります。


さらに、OpenAIは開発者が不正利用を防止し、有害なコンテンツを検知し、それに対処するための実践的な手順を提供することを目的として、「CSAMに関するガイダンス」も公開しています。このガイダンスでは、明確なルール、ユーザーが懸念事項を報告する方法、検出ツール、および疑わしい不正使用をレビューして報告するためのプロセスが示されています。

OpenAIは「これらの取り組みは、子どもたちへの危害を未然に防ぎ、虐待が発生した場合の対応を強化するという共通の目標を掲げています。私たちは、子どもたちを守り、搾取と闘い、加害者を裁くために必要なツール、リソース、専門知識を児童保護団体、開発者、研究者、捜査官に提供しながら、安全対策を継続的に改善していきます。共に協力することで、AIの力を活用し、児童性的搾取と虐待との闘いにおいて、大きな変化をもたらすことができるでしょう」と述べています。

・関連記事
ChatGPTのチャット内でクレカ決済できる「ChatGPT Wallet」が登場 - GIGAZINE

OpenAIが「AIデータセンターの電力やインフラは全額自己負担」「電気・水道の使用量を公表」などの約束を発表 - GIGAZINE

OpenAIがLinuxの脆弱性948件を発見、費やしたAPIコストは約1億9200万円 - GIGAZINE

OpenAIがサイバーセキュリティのためのAI「GPT-6 Cyber」を発表 - GIGAZINE

OpenAIが画像生成AIツールの「Images 2.6」をリリース、GIF生成に対応し編集工程を細かく制御可能 - GIGAZINE

コーディングだけでなく日々の判断にもAIが役立つか測定可能なベンチマークテスト「LifeVal」をOpenAIが発表 - GIGAZINE

OpenAIがGitで超大規模リポジトリを運用するためのバックエンド「Pando」を開発 - GIGAZINE

in AI, Posted by log1e_dh

You can read the machine translated English article OpenAI develops child pornography detect….