AIが受刑者を分類するシステムが黒人受刑者を不当に厳重警備施設へ振り分けているとしてカナダ・オンタリオ州が提訴されている

カナダのオンタリオ州の刑務所では、2021年から逮捕歴や懲戒歴などの要素に基づいて受刑者にリスクスコアを割り当てるためのAIセキュリティ評価ツール「SAFER」が使われています。このSAFERが黒人受刑者に対して不当に高いリスクスコアを割り当てているとして批判を集めており、集団訴訟も提起されています。

Black prisoners are assigned harsher living conditions in Ontario jails—thanks to AI ⋆ The Breach
https://breachmedia.ca/black-prisoners-are-assigned-harsher-living-conditions-in-ontario-jails-thanks-to-ai/

Security Assessment for Evaluating Risk(SAFER)プログラムは2021年初頭からオンタリオ州の刑務所で運用されているアルゴリズムで、逮捕歴・起訴歴・懲戒記録といった受刑者の個人情報を入力することで、AIが各受刑者に0から100までのスコアを割り当てます。受刑者はスコアに応じて、警備体制が最低・中・最高レベルのうちどの施設に収容されるかが決定されます。具体的には、中レベルの警備施設なら週2回ガラス越しの面会が認められますが、最高レベルの警備施設では週に1回のビデオ面会しか認められず、その他の面でも受刑者の自由が著しく制限されます。

SAFERの批判者たちは、SAFERに提供されるデータに人種差別的な偏りがあると主張しています。SAFERは機械的にリスク評価を行うアルゴリズムですが、警察や裁判所が黒人差別を背景として黒人により厳しい刑罰を科しているため、そのデータを利用するSAFERは黒人受刑者に対してより厳しいリスク評価を行っているとしています。

カナダの人種差別などの問題を扱うニュースサイトのThe Breachは、オンタリオ州の受刑者を管轄する省庁も、SAFER批判者らの指摘に同意していると指摘しています。The Breachが独占的に入手した内部研修文書によると、同省庁は「先住民および人種的マイノリティは、司法制度において組織的な差別を受けている。そのため、SAFERのような評価は、最高警備刑務所における先住民受刑者の過剰収容につながる可能性が高い」と述べていたとのこと。

オンタリオ州はSAFERの導入にあたり、最高警備刑務所に収容される先住民囚人の数を減らすための措置をいくつか盛り込んでいますが、黒人囚人に対してはそのような措置は講じていません。人種的正義を専門とする人権弁護士のナナ・ヤンフル氏はこの決定を厳しく非難し、The Breachのインタビューで「彼らは、黒人の収容状況をさらに悪化させるプログラムに意図的に加担しています」と語りました。

トロント大学の犯罪学者で教授のスコット・ウォートリー氏が分析した政府データによると、黒人はオンタリオ州の人口のわずか5.4％であるにもかかわらず、2022年から2025年まで最高警備刑務所に収容された全囚人の約27％を占めているとのこと。対照的に、白人はオンタリオ州人口の63.3％を占めていますが、最高警備刑務所に収容されている囚人のうち白人は約41％と人口に比べて少なくなっています。特に黒人女性は影響を受けており、2024年から2025年までの16カ月間で、SAFERから最高警備指定を受けた黒人女性の割合は白人女性の2倍以上だったと指摘されています。

刑務所職員はSAFERプログラムの決定を覆し、囚人を別のセキュリティ分類に割り当てることができます。ウォートリー氏の分析によると、過去にSAFERの決定が覆されたもののうち39％が先住民囚人、36％が黒人囚人に関するものであったそうです。ただし、ウォートリー氏の報告書ではSAFERの決定が覆された結果より低い警備施設に割り当てが修正されたのか、高い警備施設に変更されたのかは、データで示されていないと指摘されています。

SAFERの評価によって生じた不均衡な措置に基づいて、2025年には集団訴訟も提起されています。集団訴訟では、SAFERが黒人受刑者に対し、法の平等な保護と平等な利益を受ける権利を否定することで、彼らの憲章上の権利を侵害していると主張しています。

集団訴訟を担当しているコスキ・ミンスキー法律事務所の弁護士であるケイトリン・リーチ氏は「刑事司法制度における警察官・裁判官・保護監察官・刑務官による偏りのある決定が、SAFERデータの偏りにつながる可能性があります。黒人が犯罪で起訴されても、同じ状況の白人は起訴されない可能性があります。そのため、収監された場合、両者は異なる種類の犯罪歴を持つことになり、それがアルゴリズムの判断材料となります。担当省はSAFERの具体的な仕組みを公開していません」と語りました。

SAFERの詳細や評価に用いられる具体的なデータについてはほとんど明かされておらず、オンタリオ州の受刑者を管轄する省庁の文書では「SAFERによるこれらの事件の予測精度は、先住民や人種的マイノリティの囚人に対しても、他のグループと同様に正確である」と主張しています。The BreachはSAFERに関する根拠や証拠を求めるため法務長官省に連絡を取りましたが、複数回にわたるコメント要請に同省は回答しなかったそうです。また、The BreachはSAFERの設計者とされるミネソタ州矯正局の研究部長であるグラント・デュー博士にも連絡を取りましたが、同様にコメント要請に応じませんでした。

オンタリオ州政府や公共サービスによる不当な対応から市民の権利を守る独立した機関であるオンタリオ州オンブズマンは「カナダの刑務所や拘置所におけるAIの利用は、正確性と説明責任に深刻な脅威をもたらす」と指摘しており、下した決定や勧告を合理化したり説明したりすることができない「ブラックボックス」として機能するAIの判断に依存することに注意を促しています。オンブズマンの報告書によると、SAFERプログラムの導入状況に関する省庁の見直しが進行中であるそうですが、集団訴訟が決着するには通常数年かかるため、訴訟が進む間もSAFERプログラムが変更されることなく運用され続ける可能性があります。