Googleの姉妹企業がヘイトスピーチを検出するツール「Perspective」を発表、専門家の精度検証の結果は?


Alphabetグループ傘下でGoogleの姉妹企業となる「Jigsaw」が、機械学習でインターネット上のヘイトスピーチを自動的に検出するツール「Perspective」を発表しました。ウェブサイト上のコメント欄などに実装することでヘイトスピーチの拡散を防ぐことができるAPIなのですが、多くのヘイトスピーチではないコメントまで「有害なコメント」と見なしてしまうことがわかっています。

Google’s attempt to police trolling and hate on the internet doesn’t work yet — Quartz
https://qz.com/918640/alphabets-hate-fighting-ai-doesnt-understand-hate-yet/

Jigsawが公開した「Perspective」は、公式ウェブサイト上にコメント入力欄があり、書き込まれた内容の「有害性」を誰でも簡単に試せるようになっています。この機能を多くの専門家が試したところ、「hate is bad.(ヘイトは悪いことだ)」「garbage truck(ごみ収集車)」といった無害なワードを有害なヘイトスピーチと判断していることが報告されています。


例えば以下の例では、「Racism is bad.(人種差別主義は悪いことだ)」が「60%の確率で有害なコメント」と判断されている一方で、「Racism is good.(人種差別主義は良いことだ)」は「35%の確率で有害なコメント」と判断されており、人種差別を推奨するような言葉が低い有害性を示しています。


Googleの元エンジニアでMIT Tech Reviewの記者であるDavid Auerbach氏は、自らPerspectiveにさまざまなコメントを入力し、その結果を記したリストをFacebookに投稿しています。「Donald Trump is a meretricious buffoon(ドナルド・トランプは価値のないふぬけだ)」「few muslims are a terrorist threat(数人のムスリムはテロの脅威だ)」といった言葉が正しく高い有害性を示している一方で、「I fucking love you man. Happy birthday(お前のことをクソ愛してるぜ。誕生日おめでとう)」という言葉がそれらに並ぶ高い有害性を示しており、「Fワード」などの使い分けが難しい様子。ただし、もしウェブサイトの検証ツールでPerspectiveの判断が間違っていた場合は、フィードバックを送信して間違いを訂正できるようになっています。


I wrote this article on Google Jigsaw's Conversation AI a few months back. Today, Google released an API for comment...

David Auerbachさんの投稿 2017年2月23日


なお、Jigsawの開発チームはこの問題を認識しており、Perspectiveは大規模な配置の準備が整っていない「アルファ版」の実験的ツールであることを強調しています。すでにJigsawはWikipediaやThe New York Timesと手を組み、数百万件のコメントを収集して有害性を判断させた訓練セットを使用しているのですが、未完成な状態のPerspectiveを公開した理由は、機械学習ツールであるPerspectiveのリアルな学習データを得るためとのこと。

Jigsawの製品マネージャーであるCJ Adams氏は「Perspectiveが使用されるにつれて、もっとたくさんの暴言のサンプルが集まり続け、世界中のユーザーが間違いを訂正することで、ヘイトスピーチを検出する能力が向上することに期待しています」と語っています。

・関連記事
ヘイト目的で使われ続けた「カエルのペペ」、作者が奪還を断念して公式で葬式を行う - GIGAZINE

「24時間以内にヘイトスピーチを削除」がさらに拡大、Facebook・Google・Twitter・Microsoftが合意 - GIGAZINE

Facebookがポルノやヘイトスピーチなど不快なコンテンツを自動検知する技術の特許を申請、ウソのニュース排除に活用できる可能性も - GIGAZINE

49

in ウェブアプリ, Posted by darkhorse_log