AIの先祖である「書類選考用アルゴリズム」もまた人種・女性差別的だったという事実

By kalhh

人工知能(AI)はさまざまな産業での活躍が見込まれており、次世代を担うテクノロジーといえます。しかし、AIはあくまで「人間から学習する」ものであるため、人間が持っている「偏見や差別意識」を受け継ぐ可能性が指摘されていました。

Untold History of AI: Algorithmic Bias Was Born in the 1980s - IEEE Spectrum
https://spectrum.ieee.org/tech-talk/tech-history/dawn-of-electronics/untold-history-of-ai-the-birth-of-machine-bias

1970年頃、イギリスのセントジョージ医科大学は応募してきた学生をまず書類選考にかけ、その後面接を行うという入学審査を行っていました。応募してくる学生は年間約2500人ほどでしたが、そのうち4分の3ほどは書類選考の段階で不合格となり、書類選考に重きが置かれていました。

同校の入学審査員を務めることとなった副学長のジェフリー・フラングレン博士は書類選考の審査プロセスが長く単調だったため、「自動化可能で効率化できる」と考えました。フラングレン博士は人間による審査を研究し、「人間の審査員の判断基準を模倣するアルゴリズム」を作成。このアルゴリズムによって、フラングレン博士は「書類選考の効率化」だけではなく、審査員がアルゴリズムのみになった結果「審査員による評価のばらつきの解消」が実現できると考えていました。

By Besjunior

アルゴリズムは1979年に完成し、その年の入学審査ではアルゴリズムと人間の審査員による二重の書類選考が実施されました。フラングレン氏の作成したアルゴリズムによる評価付けは人間の審査員のものと結果が90％から95％が一致したとのこと。この結果を受けて、セントジョージ大学では1982年までこのアルゴリズムが書類選考を行っていたそうです。

しかし、アルゴリズムによる書類選考が実施されてから数年後、何人かの職員が「合格者の人種が偏っている」ことを発見します。報告を受けた英国人種平等委員会(CRE)がアルゴリズムのプログラムを見直した結果、「氏名や出生地によって『白人』か『非白人』によって分類され、非白人は減点される」ということが判明しました。白人以外の氏名を持った受験者はそれだけで自動的に15点減点され、同様に女性の受験者も3点減点されていたようです。このような「バイアス」の結果、1年間あたり60人が書類選考に合格できなかった可能性があるとのこと。

By tmeier1964

フラングレン博士はこの補正に対して「このバイアスは人間が書類選考をしていた時代から既に存在していた」と発言します。当時、イギリスの大学では実際に性差別と人種差別が横行していましたが、アルゴリズムは性差・人種差別するような設計であったことがプログラム上から検証可能だったため、問題が浮き彫りとなりました。

進化した現代のAIも同じ問題を抱えています。AIは今や医療や刑事司法などでも活用されつつありますが、AIは既存のデータから学習した結果、社会的偏見までも受け継ぎます。2016年にはプロパブリカがアメリカで実施された犯罪予測システムにおいて、アフリカ系アメリカ人に対して偏りがあったことが示されています。

「Amazonの顔認証ソフトの差別性」を巡りAmazonとMITの研究者が対立する - GIGAZINE

AIのバイアスが議論されている一方で、AIは「合理性の化身」であるかのように、偏りのない結果を生み出すものだと思われています。こういった認識に対して、AIに関する批評家であるケイト・クロフォードさんは「アルゴリズムは人間のバイアスを継承しており、人間を模したものにすぎません。人間が作ったAIは人間と同程度の存在になります」とコメントしています。