医療システムに組み込まれたアルゴリズムの人種バイアスを取り除くことは困難

by Online Marketing

人種に関するデータを持たないはずの医療システムで“人種差別”が起きていたことが2019年10月に明らかになりました。この問題に、上院議員らが立ち上がり、改善に向けた模索が行われていますが、問題解消はかなり困難なもののようです。

Booker Wyden FTC Letter
https://www.scribd.com/document/437955271/Booker-Wyden-FTC-Letter


Racial bias in health care algorithms: there’s no quick fix - The Verge
https://www.theverge.com/2019/12/4/20995178/racial-bias-health-care-algorithms-cory-booker-senator-wyden

サイエンスに掲載された論文の内容は、アメリカのヘルスケアシステムで活用されている医療アルゴリズムにおいて、黒人患者の治療のニーズが非黒人患者と比べて過小評価されるバイアスがかかっているという内容。システム構築にあたって使用されたデータには人種情報は含まれていませんでしたが、医療費をデータとして利用していたことにより、費用が高額な治療を受けられない黒人患者に対するバイアスがかかる結果が出ていました。

人種に関するデータが存在しない医療システムで人種差別が行われてしまった理由とは？ - GIGAZINE

これを受けてコリー・ブッカー上院議員とロン・ワイデン上院議員は、連邦取引委員会に対してバイアスのかかったアルゴリズムによって消費者に与えた被害を調査しているかどうか、また、医療関連企業に対してアルゴリズムの調査は行っているか、などを問いかける公開書簡を発表しました。

アルゴリズムの偏りを検出するためのツールは存在していますが、サイエンス誌掲載の論文の共同著者でありブリガム・アンド・ウィメンズ病院のブライアン・パワーズ氏は、ツールを用いてもバイアスの潜在的な原因を取り除くことはできず、「どのアルゴリズムにも適用できる単一の解決方法」というものもないとコメント。また、今回問題となった医療アルゴリズムが医療費を病気の指標としていたように、代理指標を用いるアルゴリズムはより慎重な検討が必要で、代理指標のバイアスは個別に評価する必要があるとも語りました。

ブルッキングス研究所のニコル・ターナー＝リー氏も、ツールは構築方法の問題点特定には役立たないと語り、バイアス除去には医療システム・医師・アルゴリズムの開発グループなど、利用者間の連携が必要であると述べています。

以前から、人間の作った文書を大量に学習させるとAIは偏見や差別を学ぶことが指摘されており、問題の解消は容易ではないようです。