YouTubeのAIがチェスの「白・黒」を人種差別だと誤判定してチャンネルを閉鎖した疑い

100万人以上のチャンネル登録者数を誇る、チェス関連では世界最大級のYouTubeチャンネルが、2020年6月に突如「有害で危険なコンテンツを配信している」という理由で閉鎖されてしまいました。カーネギーメロン大学のコンピューター科学者の調査で、この不可解なチャンネル閉鎖は「AIが、チェスの白・黒という言葉を人種差別であると誤認してしまった」ことで起こってしまった可能性が高いとわかりました。

AI May Mistake Chess Discussions as Racist Talk | Carnegie Mellon School of Computer Science
https://www.cs.cmu.edu/news/ai-may-mistake-chess-discussions-racist-talk

AI mistakes ‘black and white’ chess chat for racism | The Independent
https://www.independent.co.uk/life-style/gadgets-and-tech/ai-chess-racism-youtube-agadmator-b1804160.html

agadmatorことAntonio Radić氏は、チェスの盤面解説などを行うYouTubeチャンネルを運営しており、100万人以上のチャンネル登録者数を抱えています。2020年6月28日にRadić氏のチャンネルが、チェスプレイヤーのヒカル・ナカムラ氏が5度目のグランドマスターを獲得した盤面を解説したムービーを投稿した直後に突然YouTubeによって閉鎖されてしまいました。

アカウントとチャンネルは24時間後に復活。Radić氏は「ムービーではチェスの話しかしていなかったが、チェスの『白』駒と『黒』駒に言及していたことでBANされてしまったのかもしれない」と推測しました。なお、Radić氏は、記事作成時点でもYouTubeからチャンネル閉鎖に至った理由を説明されていないとのこと。

これを受けて、カーネギーメロン大学の言語技術研究所の研究者であるAshique KhudaBukhsh氏の率いる研究チームは、チェス関連の人気YouTubeチャンネル5つのムービーから抽出した68万件を超えるコメントを、ヘイトスピーチを自動選別できるようにトレーニングされた2種類のAIを使って選別しました。

研究チームがヘイトスピ－チと判断されたコメントから1000件をランダムにサンプリングし、手動でその中身を確認したところ、その82％に悪意のある表現が含まれていなかったとのこと。さらに誤判定されたコメントには、「白(White)」「黒(Black)」「攻撃(Attack)」「脅威(Threat)」など、チェスの世界でよく使われる用語が含まれていたことが判明しました。

KhudaBukhsh氏によれば、こうしたAIによる誤判定は他にも見られるとのこと。例えば、画像認識でAIが「怠惰な犬」と「活動的な犬」を見分ける際、活動的な犬の写真の多くは広い草原を背景にしていることが多いため、緑色の草がたくさん写っていれば「活動的な犬の写真である」と判定されることが多かった事例もあるそうです。

KhudaBukhsh氏は、「YouTubeのAIの学習に使われるデータセットにはチェスのケースがほとんど含まれていないことからこうした誤分類が起こり得ます」と指摘し、「人種差別的な言語の検出をAIに依存している場合、こういった事故が発生する可能性があります」と述べました。