Twitterの画像切り抜きアルゴリズムは「肌が白い/痩せている/若い/より女性的なほど優先度が高くなる」と証明した研究者が報奨金を獲得

Twitterが開催した「画像切り抜きアルゴリズムに存在するバイアスを発見するコンテスト」で、スイスの研究者が「肌が白い/痩せている/若い/より女性的なほど優先度が高くなる」ことを立証して優勝しました。このコンテストではほかにも「白髪/車椅子に乗っている/イスラム教のヒジャブのように頭部を隠している人物ほど優先度が低くなる」と立証されたため、アメリカ報道大手のNBC Newsは「年齢差別的・障害者差別的・イスラム嫌悪的でもある」と報じています。

Twitter’s racist algorithm is also ageist, ableist and Islamaphobic, researchers find
https://www.nbcnews.com/tech/tech-news/twitters-racist-algorithm-also-ageist-ableist-islamaphobic-researchers-rcna1632

Twitter just led the first-ever "bug bounty" for AI bias
https://www.morningbrew.com/emerging-tech/stories/2021/08/09/twitter-just-led-firstever-bug-bounty-ai-bias

Twitterは2018年、AI技術を駆使して画像の自動トリミングを最適化するというシステムを実装しました。このシステムはAI技術によって従来よりも高速かつ最適なトリミングを実現するという触れ込みでしたが、中心として判定される人間の顔に「人種差別によるバイアスが存在する」という指摘が浮上。実際にTwitterが検証を行ったところ、全体として4％ほどの度合いで黒人よりも白人の顔を優先するという傾向が認められました。こうしてTwitterは2021年5月、「自動トリミングをやめる」という決断を下していました。

Twitterが「人種差別をなくすため自動トリミングをやめる」と発表 - GIGAZINE

このアルゴリズムを修繕するため、Twitterが開催したのが「画像切り抜きアルゴリズムに存在するバイアスを発見するコンテスト」です。TwitterはGithub上に問題の画像アルゴリズムのコードを公開し、どういったバイアスが存在するのかについて公募を実施。想定される害の内容や影響を受けるコミュニティの種類やユーザー数、創造性などの基準で順位付けを行い、1位には3500ドル(約38万円)の報奨金を約束しました。

Twitterが「画像切り抜きアルゴリズムのバイアスを発見するコンテスト」を開催、報奨金は最大38万円 - GIGAZINE

そしてTwitterは2021年8月5日～9日に実施されたハッカーの祭典DEF CONの中で、上記コンテストの優勝者を発表。スイス連邦工科大学ローザンヌ校の大学院生であるBogdan Kulynych氏が1位を獲得しました。

Kulynych氏の研究は以下から閲覧可能です。

GitHub - bogdan-kulynych/saliency_bias
https://github.com/bogdan-kulynych/saliency_bias

Kulynych氏はAIを用いて被写体にさまざまな編集を施し、Twitterのアルゴリズムがどのような判定を下すかを詳しく精査しました。その結果、画像の切り抜き方法を決定する際に参照される(PDFファイル)サリエンシーのスコアが、肌が白い/細い/若い/より女性的なほど高くなったとのこと。肌の色を白くすることでサリエンシースコアが向上するというのは、全体の37％で確認され……

痩せさせるほどスコアが高くなるのは、全体の18％で確認。

同じく18％で、若くするほどスコアが高くなりました。

女性的にするほどスコアが高くなるというのは、全体の25％でした。

また、2位を獲得したトロント大学で人工知能のバイアスについて研究しているParham Aarabi教授は「白髪/車椅子に乗っている/頭部を隠している人物ほど優先度が低くなる」ことを立証しました。

今回の結果について、コンテスト運営陣のRumman Chowdhury氏は「一般に公開されたアルゴリズムがどのように間違っているかをすべて特定するというのは単一のチームではとてもできませんし、正直なところ実現不可能でしょう。私たちはアルゴリズムの弊害を積極的かつ集団的に特定するという前例を、Twitterや業界で作りたいと考えています」とコメントしています。