AI自殺相談チャットがユーザーデータを企業と共有し利益を得ていることが明らかに

自殺専門の相談窓口が、営利目的の企業とユーザーデータを共有していることが明らかになりました。この営利企業はユーザーデータを基にカスタマーサービスソフトウェアを作成・販売しており、自殺相談窓口はソフトウェアの収益の一部を受け取っています。

Suicide hotline shares data with for-profit spinoff, raising ethical questions - POLITICO
https://www.politico.com/news/2022/01/28/suicide-hotline-silicon-valley-privacy-debates-00002617

Crisis Text Line shares data with Loris.ai - Protocol — The people, power and politics of tech
https://www.protocol.com/bulletins/crisis-text-line-lorisai

「Crisis Text Line」は世界で最も有名なメンタルヘルスサポートチャットサービスのひとつで、ビッグデータと人工知能(AI)を利用して、自傷行為や精神的虐待、自殺といったトラウマに対処する方法を相談者にアドバイスするという非営利団体です。

しかし、このCrisis Text Lineがユーザーとのオンラインテキストチャットの内容を収集しており、この情報を営利目的の企業である「Loris」と共有していることが明らかになりました。LorisはCrisis Text Lineから入手したデータを利用して、カスタマーサービスソフトウェアを作成しています。また、Crisis Text LineはLorisと収益分配契約を結んでおり、カスタマーサービスソフトウェアの販売から一定の利益を得ています。

Crisis Text LineはLorisと共有しているデータについて「完全に匿名化されており、相談者を特定することにつながる情報はすべて削除されています」「各テキスト担当はユーザーからの同意を得ています。また、Crisis Text Lineのデータ共有慣行については、利用規約とプライバシーポリシーに明確に記されています」と主張しています。

一方で、プライバシーの専門家は「匿名化されたデータセットから個人を特定することは簡単である」と語り、匿名化されているからといってユーザーの特定につながらないわけではないと指摘。実際、ウェブブラウザの閲覧履歴から個人を特定したり、匿名のソースコードからその作者を特定したりすることが可能となっているため、Crisis Text Lineの共有したデータからユーザーを特定することができないとは限りません。

また、スタンフォード大学のプライバシー専門家であるジェニファー・キング氏は「Crisis Text Lineは法的な同意を得てユーザーデータを共有しているかもしれませんが、実際に意味のある、感情的な、完全に理解された同意をユーザーから得られているでしょうか？」と指摘し、自殺相談窓口に連絡するユーザーが助けを求めている最中にCrisis Text Lineの利用規約に目を通すかは疑問であるとしています。

なお、Crisis Text Lineで過去にボランティアとして働いていたという人物がChange.org上で「Crisis Text Lineのデータ共有慣行を改善するための嘆願」を行っており、記事作成時点で222人が嘆願書に賛同しています。

キャンペーン · Ask Crisis Text Line to Reform Its Data Ethics · Change.org
https://www.change.org/p/crisis-text-line-ask-crisis-text-line-to-stop-monetizing-conversations-as-data