コメントを削除するモデレーターが「何を削除すべきか？」に関する研究結果が公開

多くのソーシャルメディアやウェブサイトのコメント欄では、モデレーターによって不適切だったり不快だったりする投稿やコメントの削除が行われています。テキサス大学オースティン校のメディア・​エンゲージメント・センターの研究チームは、「削除されたコメントの種類」や「モデレーターによる削除理由の説明」などで人々の反応がどのように変わるのかを調査しました。

How the Public Views Deletion of Offensive Comments - Center for Media Engagement - Center for Media Engagement
https://mediaengagement.org/research/how-the-public-views-deletion-of-offensive-comments/

Comment moderators should focus more on hate speech than profanity, a new study suggests » Nieman Journalism Lab
https://www.niemanlab.org/2021/06/comment-moderators-should-focus-more-on-hate-speech-than-profanity-a-new-study-suggests/

メディア・エンゲージメント・センターの研究チームは、オランダのエラスムス大学とポルトガルのヌエバ・デ・​リスボン大学の研究チームと協力して、アメリカ・オランダ・ポルトガルの3カ国に住む人々を対象に、コメントのモデレーションについての調査を行いました。今回の調査では、人々が感じるモデレーションの公平性や正当性に対し、「コメントの種類」「削除理由の説明」といった要因が与える影響が調べられたそうです。

研究チームはウェブサイトやブログにコメント機能を提供するオンラインサービス・Disqusのようにデザインしたテンプレートを使い、ユーザーのコメントやモデレーターの説明を表示しました。なお、調査はアメリカで902人、オランダで975人、ポルトガルで993人の被験者を対象に行われ、コメントやモデレーターの説明はいずれも各国の主要言語に翻訳されたとのこと。

まず、被験者は「口汚い罵倒語や冒瀆(ぼうとく)的な表現を含むコメント」と「特定のグループに対するヘイトスピーチ」を見て、次にそれらの書き込みを削除したモデレーターの説明を見ました。以下の画像は、上段の左が「『f*cking』といった罵倒語を含む政治批判のコメント」、右が「メキシコ人に対するヘイトスピーチ」であり、下段が左から「削除理由を説明しないモデレーターの投稿」「一般的な説明とコミュニティガイドラインへのリンクを含んだモデレーターの投稿」「問題となった削除理由を説明したモデレーターの投稿」です。

その後、被験者はコメント削除の公平性や正当性、モデレーターの信頼性などに関する質問に回答しました。以下の画像は、「コメントの削除が公平であったかどうか」を7段階で評価したスコアを棒グラフで示したもので、水色の棒グラフが「ヘイトスピーチ」、濃い青色の棒グラフが「罵倒語を含むコメント」であり、左からアメリカ・オランダ・ポルトガルの調査結果となっています。3カ国全てにおいて、ヘイトスピーチの削除は罵倒語を含むコメントの削除よりも公平だと感じられる傾向が見て取れます。

「コメント削除の正当性」について調査した結果を示した以下のグラフでも、同様にヘイトスピーチの方が罵倒語を含むコメントより削除が正当だと受け取られやすいことがわかります。

また、削除されたコメントの種類は「モデレーターの透明性の評価」にも影響を与えています。以下のグラフによると、ヘイトスピーチを削除したモデレーターは、罵倒語を含むコメントを削除したモデレーターより「透明性が高い」と評価されやすい傾向があったとのこと。

以下の棒グラフは、削除対応についての投稿により、モデレーターの透明性の評価に与える影響を示したもの。水色が「削除理由を説明しないモデレーターの投稿」、濃い青色が「一般的な説明とコミュニティガイドラインへのリンクを含んだモデレーターの投稿」、灰色が「問題となった削除理由を説明したモデレーターの投稿」を示しており、いずれの国でも削除理由を説明した方がモデレーターの透明性が高いと評価されることがわかります。

そして、「コメントを削除したモデレーターの信頼性」についての評価を示したものがこれ。水色が「ヘイトスピーチ」、濃い青色が「罵倒語を含むコメント」を示しており、左端のアメリカや中央のオランダではヘイトスピーチを削除したモデレーターの方が、罵倒語を含むコメントを削除したモデレーターより信頼されやすいことがわかります。なお、右端のポルトガルもグラフを見る限りでは同様の結果となっていますが、研究チームは「それほど大きな違いは見られませんでした」と述べています。

これらの結果に加え、研究チームは「モデレーターが人間なのかAIなのか」がコンテンツ削除の公平性や正当性に与える影響も調査したとのこと。その結果、アメリカやオランダではモデレーターが人間だろうとAIだろうと削除に対する評価は変わらなかったものの、ポルトガルではモデレーターがAIよりも人間だった場合の方が、公平で正当なものだと評価される傾向が見られたそうです。

研究チームは今回の調査結果から、コメントの削除を行うソーシャルメディアやウェブサイトに対し、重要なポイントを以下のようにまとめています。

・人々は罵倒語や冒瀆(ぼうとく)的な表現よりもヘイトスピーチを削除すべきだと考えているため、モデレーターはヘイトスピーチに重点を置くべきである。
・モデレーターは一般的な理由を説明するだけでなく、コンテンツが削除された理由を具体的に説明するべきである。
・アルゴリズムのモデレーターは人間のモデレーターと同等に認識される場合があるものの、全ての国に当てはまるとは限らないため、文化的背景を考慮する必要がある。