Amazonの極秘AIツールが「女性蔑視だった」という理由で廃棄されていたことが判明

by geralt

Amazonが「就職希望者の履歴書をAIで評価する」というシステムをひそかに開発していたものの、AIが男性を好み、女性を就職に不利なように評価することから、ツールを破棄していたことが判明しました。

Amazon scraps secret AI recruiting tool that showed bias against women
https://www.reuters.com/article/us-amazon-com-jobs-automation-insight/amazon-scraps-secret-ai-recruiting-tool-that-showed-bias-against-women-idUSKCN1MK08G

Amazon reportedly scraps internal AI recruiting tool that was biased against women - The Verge
https://www.theverge.com/2018/10/10/17958784/ai-recruiting-tool-bias-amazon-report

Amazonの機械学習の専門家チームは2014年、才能のある人材を探しだすため、履歴書から就職希望者を評価するアルゴリズムを作成しました。Amazonにとって「自動化」は非常に重要な要素であるため、人材雇用においてもAIによる自動化を行うことは、ごく自然な流れだったといいます。

しかし、この「履歴書から自動的に才能あるトップ5％を選んでくれる」という採用担当者からすると夢のようなアルゴリズムが、「女性嫌い」であることが2015年に判明しました。ソフトウェア開発者を始めとする技術的なポストにおいて、Amazonのシステムはジェンダーの点で中立ではなかったとのこと。

AIシステムが女性嫌いになってしまった理由は、Amazonのコンピューター・モデルが過去10年間の履歴書パターンによって学習を行っていたため。過去10年、テクノロジー産業では男性が支配的でした。

Amazonのシステムは男性の候補者を好み、「女性チェスクラブのキャプテン」といった「女性の」という言葉を含む履歴書を不利な立場に置いていたとのこと。また、事情に通じている人の情報から、女子大学を卒業した候補者を低く評価していたことも判明しています。

Amazonは特定の言葉に対して中立になるようプログラムを編集しましたが、システムが他の方法で候補者を差別的に扱う可能性があると考えられました。そのため、2017年初頭にチームは解散。2018年現在、Amazonは採用を行う時にAIツールによって作られた「おすすめ」を確認しますが、ランキングのみに頼ることはないとのことです。

Amazonはツールの技術的課題についてコメントを出さず、「Amazonが候補者を評価するためにこのツールを使ったことは一度もない」と述べています。

求職情報サイトのCareerBuilderが行った2017年の調査によると、アメリカ企業の人事部マネージャーの55％が「人工知能／AIは5年以内に自分たちの仕事にとって当たり前のものとなる」と考えているとのこと。しかし、コンピューター科学者のNihar Shah氏は「アルゴリズムを公平にし、現実的に解釈可能にするにはまだまだ道のりは遠い」と述べています。実際に、機械学習が人間の偏見を再現してしまうという点については、他の科学者からも懸念の声が上がっています。

AIは人間の言葉から女性差別や人種差別を学び取る - GIGAZINE