AIに学生のメールやSNSを監視させて「危険」を検知するという試みが行われている

by Jabbacake

学校が銃撃されて死者が出るという事件がアメリカではたびたび報告されていますが、このような危険性を排除し学校の安全性を高めるために、生徒のメールやテスト、SNSなどを人工知能(AI)を使ったシステムに監視させ、いじめやうつ病、銃撃などの兆候を検知するという試みが各所で行われています。

Can artificial intelligence help boost your school's safety?
https://www.usatoday.com/story/tech/2019/02/13/preventing-next-parkland-artificial-intelligence-may-help/2801369002/

2018年2月にアメリカ、フロリダ州の高校で17人が死亡する銃撃事件が発生しましたが、その数カ月前からアメリカの25校で危険を検知するアプリのテストパイロットを行っていたスタートアップのBarkは、爆発事件や銃撃事件の警告サインを発見したとのこと。その後、2018年8月にBarkは、子どもたちのテキストメッセージやメール、YouTube、ソーシャルメディアを監視して危険を回避するためのオンラインサービス開発について900万ドル(約10億円)の出資を集めることに成功しました。

アプリは児童心理学者や青年アドバイザー、法執行機関の専門家たちと協力して開発されたもので、機械学習を使用してSNSやメールのデータなどからインターネット上のいじめやうつ病、自殺念慮、セックスといった「潜在的な脅威」を識別して親や学校に警告を送るというもの。2019年2月時点でBarkは親が子どもを監視するための有料アプリを提供していますが、その利益を使ってアメリカの学校に対してサービスを無料で提供しています。

有料版のアプリは一家族あたり月額9ドル(約1000円)で、年額だと99ドル(約1万1000円)。無料のアプリは記事作成時点で1100学区で使用されており、計算上は260万人の子どもをカバーしていることになります。拉致や銃撃といった深刻な事態を察知した場合はFBIに対しても警告が送信されることになっているとのこと。

by terimakasih0

BarkのTitania Jordan氏によると、2019年2月8日にアプリが学校で使われるようになってから「汚い言葉」のアラートが1日3万5000～5万5000件送信されていますが、FBIに対してアラートが送信される深刻なケースもアプリ公開から1週間で16件あったそうです。

ただしニュースメディアのUSA TODAYは「Barkのアプリは犯人の行動を毎回検知できるわけではなく、疑陽性が起こること」「学校はあらかじめ指定した生徒のアカウントについて監視できるが、生徒があらかじめ指定したデバイスやスマートフォンを使っていないと監視漏れが発生すること」「多くの子どもは親よりもテクノロジーに詳しく、親に知られないようにアカウントを使い分けている可能性があること」といった点について指摘しています。

一方で、1998年から「学校の安全性を高めるサービス」を提供しているGaggleはサービスを提供する1400学区で数多くの自殺を防止するとともに、子どもが他の誰かを傷つけるために銃器を購入することを防止してきたと述べています。GaggleもBarkと同様に、子どもが銃器を購入すると学校や法執行機関とコンタクトを取ることとなっています。

ただしGaggleは機械学習だけに頼らず、テキストや文書をスキャンした後に専門家が分析を行うのが特徴。軽度な兆候であれば、学校ではなく生徒にダイレクトにメールが送られることもあるそうです。

これまでに発表された研究結果で「うつ」病の人がよく使いがちな言葉は判明しており、GaggleやBarkはこのような傾向を察知するシステムを採用している様子。GaggleのBill McCullough氏は同社のアルゴリズムが絶えず更新され、子どもたちが送るメッセージから絵文字やスペルミスを含めた「絶望」のサインを検知できるようにしていると語っています。またGaggleは「学区の外からの脅威」についてもモニタリングや警告を行っており、過去には外部の人間が少女に対して「裸の写真を送らなければ両親を殺す」と送ってきたメールについても検知、問題を解決したといいます。

by HASTYWORDS

銃乱射事件がたびたび報じられるアメリカでは上記のような学校の安全を高めるサービスが利用されるようになってきていますが、もちろんここにはプラバシーの問題が存在します。学校がこのようなサービスを利用しているのは「生徒たちのボーイフレンド、ガールフレンドに関する事柄」を知るためではなく、生徒たちのプライバシーはしっかりと保たれなければなりません。サービスを提供している側が親から「最悪のサービスだ」と言われることもあるとのことですが、親が学校に対して懸念する最大の点が「安全性」となっている現代において、このようなサービスの需要は今後も大きくなっていきそうです。