「Wikipedia上での嫌がらせ」をアルゴリズムを使って調査、その結果わかったこととは？

By Johann Dreo

ネット上の世界で相手を罵倒したり嫌がらせをする迷惑行為は世界中で行われているという実態があり、インターネット百科事典のWikipediaの中でも個人に対するハラスメント行為があとを絶ちません。状況を問題視しているウィキメディア財団は調査チームを組織し、Alphabet傘下のインキュベーター(起業支援事業者)である「Jigsaw」と協力して実態の調査に乗り出しました。

Algorithms and insults: Scaling up our understanding of harassment on Wikipedia ? Wikimedia Blog
https://blog.wikimedia.org/2017/02/07/scaling-understanding-of-harassment/

オンライン辞典のWikipediaでは、誰もが中身を編集できる「編集者」になって内容を更新することが可能です。それぞれの記事の中には他の編集者と議論を行うページが用意されており、中身に関する意見を交換することができます。しかし、このページは必ずしも良心によって書き込まれているとは限らず、中には個人に対する中傷や嫌がらせとしか思えない内容が多く見受けられるとのこと。

Wikipedia上の「会話」ページ内で、30日間に行われた投稿や編集のうち、攻撃性のない用語(黒いドット)は16万4102語だったのに対し、攻撃的な用語(赤)は573語、攻撃的であったものの取り消し・消去された用語(グレー)は519語で、合計1092語だったとのこと。しかし、実際のハラスメント行為の実情はもっと根深いものがあるとされています。

By Hoshi Ludwig

ウィキメディア財団は2016年初頭から、Jigsawと協力してWikipedia上におけるハラスメント行為の実態についての調査を進めてきたとのこと。両者は、コンピューターアルゴリズムを開発することで、会話ページにおける書き込み内容を自動で分析することを目指してきました。

開発にあたっては、機械学習技術を用いることで認識精度の向上を図ってきたとのこと。10万件のコメントをアルゴリズムに学習させると同時に、4000人のクラウドワーカーに100万件の注釈コメントについてそれがハラスメントにあたるか否かの判定を行わせ、その結果をアルゴリズムの学習に反映させるというプロセスを行ったそうです。

ちなみに、この時に用いられたデータセットは以下のとおりfigshareで公開されているので、自由にダウンロードして活用することが可能です。

Wikipedia Talk

これらの調査の結果、調査チームは以下の3つのポイントを公表しています。

◆1：攻撃行為が行われた際にどのぐらいの頻度で管理が行われているのか？
攻撃を行った人物に対して警告やブロックといった対策が採られたのは、全体の18%にとどまっているとのこと。1人で4回以上の攻撃行為を行っているユーザーであっても、実際に何らかの対応が採られたのは60%にとどまる。

◆2：「匿名性」が個人攻撃に与える影響
英語版Wikipediaにおける攻撃行為を行ったユーザーの67%は、Wikipediaに登録している編集者である。これは、広く予測されている「匿名のユーザーが問題を起こしている」と相反するものである。

◆3：編集を多く行っているヘビーユーザーと時おり編集を行うユーザーが攻撃を行う比率は？
以下のグラフが示すように、編集回数によってユーザーを分類し、それぞれの属性が攻撃行為全体を占める割合をグラフにしてみても大きな違いは確認されない。攻撃全体のおよそ半数は編集回数が年間で1回から5回のユーザーによって占められており、年間100回以上の編集を行うユーザーであっても、全体に占める割合は30%である。

By Nithum

今回このようにWikipedia上のハラスメント行為の様子が明らかになってきたわけですが、調査チームではまだこれが全体の一部であると考えているとのこと。アルゴリズムによる判定にはまだまだ限界があり、特に特定の用語を含まないハラスメント行為については、認定が難しい場面も少なくないそうです。また、対象となる言語が英語に限定されていたことも事実であり、今後さらに改良を行う必要があるとしています。