子どもの言動を監視し自殺を阻止することを目的とした監視ツールは役立つものの予期せぬ結果を招く

行政によっては、学習用として子どもへ配布する携帯端末に監視用ソフトウェアをインストールしていることがあります。監視ソフトの推進派は「問題を抱えている子どもを特定して支援するのに役立つ」と述べていますが、利用者が想定しない予期しない問題があるとして、ニューヨーク・タイムズがいくつかの事例をまとめています。

The Brave New World of A.I.-Powered Self-Harm Alerts - The New York Times
https://www.nytimes.com/2024/12/09/health/suicide-monitoring-software-schools.html

Does spying on laptops really prevent high school suicides?
https://reason.com/2024/12/09/does-spying-on-laptops-really-prevent-high-school-suicides/

ニューヨーク・タイムズが取り上げたのが、ミズーリ州の学校へ導入されたソフトの例です。このソフトは子どもが端末に入力した内容を精査し、問題がある言葉があればフラグを立てるという処理を行うものでしたが、とある「詩」を書いた女の子に誤って自傷行為のフラグが立てられ通報されてしまい、女の子が実際に自傷行為をする危険があると考えた警察が家まで押しかけてきたそうです。

この件ではすぐに問題ないことがわかりましたが、子どもはひどく動揺し、「トラウマになった」と話したといいます。このように「誤検知」の例は後を絶たず、狩猟について書いたレポートや、クー・クラックス・クランの歴史研究、オスカー・ワイルドの戯曲の引用などでさえ、誤ってフラグが立てられることがあったようです。

アメリカの連邦法では、学校は子どもたちに与える端末にコンテンツフィルターを使用することが義務づけられています。見せたくないものを見せないようにするコンテンツフィルターに加え、さらに一歩進んだ入力内容監視ツールを導入することはあくまで任意ですが、ニューヨーク・タイムズによるとアメリカの小学生のほぼ半数が監視を受けている状態だということです。イギリスでもテクノロジーに関するガイダンスが敷かれており、フィルタリングや監視が求められているのが現状です。

もちろん、監視ツールを導入したことで命が救われた例もあります。とある17歳の少女の例では、友人に送った「自殺を考えている」という内容のメールが検知され、カウンセラーの援助を受けられるようになりました。少女は「今ではカウンセラーがお母さんのような存在です」と語っているとのことです。

また、「死ぬためにはどれくらいの薬が必要なのか」という検索内容を検知してカウンセラーが少女を救い、少女は後に救う側として働き始めたという例もあります。小さな町ながら比較的子どもの自殺が多い時期があったというネオショー学区では、監視ツールを導入して子どもたちを保護する体制を整えているそうで、当地区を管轄する警察は「誤った通報はたくさんありますが、子どもを1人救えるのであれば誤報を出した価値はあります」と語っているといいます。

ニューヨーク・タイムズは「監視ツールの課題は精度です。次にフォローアップの問題があります。どれくらいの精度で真の危険を検知できるのか、危機に瀕している子どもたちに学校はどのようなケアを提供できるのかということです」と指摘しました。