YouTubeの「低く評価」や「興味なし」ボタンはほとんど機能していないという調査結果

Firefoxなどの開発に携わるMozilla Foundationが、YouTubeのレコメンデーションシステムに関する調査を実施しました。調査の結果、ユーザーはYouTubeがおすすめしてくる動画を自分でコントロールすることができないと感じていることが明らかになっており、実際ユーザーがおすすめ動画を制御することは非常に難しくなっていることも明らかになっています。

Mozilla Foundation - YouTube User Control Study
https://foundation.mozilla.org/en/youtube/user-controls/

Mozilla Foundation - Mozilla Investigation: YouTube’s Dislike Button, Other User Controls Largely Fail to Stop Unwanted Recommendations
https://foundation.mozilla.org/en/blog/mozilla-investigation-youtubes-dislike-button-other-user-controls-largely-fail-to-stop-unwanted-recommendations/

YouTube’s ‘dislike’ and ‘not interested’ buttons barely work, study finds - The Verge
https://www.theverge.com/2022/9/20/23356434/youtube-dislike-not-interested-buttons-bad-recommendations-mozilla-report

YouTubeにはユーザーの動画視聴履歴などに基づきおすすめの動画を表示するという、レコメンデーションシステムが存在します。しかし、このレコメンデーションシステムには「アルゴリズムが不透明」「一貫性がない」「地理的な不平等が存在している」など、さまざまな不満の声が寄せられています。YouTubeはレコメンデーションシステムについて、ユーザーが再生履歴から特定の動画を削除することで、おすすめ動画として表示されるものを変更できるとヘルプセンターで言及しています。しかし、実際にYouTubeを使用するユーザーはおすすめ動画を自分でコントロールすることができていないと感じていることがわかりました。

Mozilla FoundationはYouTubeのレコメンデーションシステムを研究するために構築されたオープンソースツール・RegretsReporterを使用して調査を実施。調査の中で分析された動画の総数は5億6788万195本で、調査対象となったユーザー数は2758人です。調査ではYouTubeのレコメンデーションシステムをどの程度ユーザーがコントロールできているかを把握するため、定性的および定量的な調査を組み合わせて実施しているそうです。

定性的調査の結果、ユーザーはYouTubeに表示されるおすすめ動画を変更するために、低く評価ボタンや「興味なし」や「チャンネルをおすすめに表示しない」といったボタンを使用していることが判明しています。しかし、これらを駆使してもおすすめ動画は変化していないと多くのユーザーは感じており、あるユーザーは「何も変わりません。誤解を招くような内容の動画をスパム報告したこともありますが、翌日にはおすすめ動画として再び表示されることがありました。また、特定のチャンネルをブロックしても、しばらくすると再びおすすめとして表示されるようになりました」と語っています。

ユーザーの中には特定の動画を再生して似た動画がおすすめ動画として表示されるようになることを嫌い、アカウントからログアウトしてから動画を再生したり、別のデバイスで動画を再生したりする人もいるそうです。

さらに、RegretsReporterの参加者コミュニティ全体で「YouTubeのおすすめ動画は本当に管理できているのか？」を調べるために、定量的な調査を実施。この結果、YouTubeがヘルプセンターで言及している「おすすめ動画を管理する方法」によりおすすめ動画がある程度変化することが明らかになったものの、この効果はわずかであり、ほとんどの不要な動画は依然として残ったままであることも判明しました。なお、この調査における「不要な動画」は、ユーザーが過去に「低く評価」「興味なし」「チャンネルをおすすめに表示しない」などのボタンを押したことがある動画に似た内容の動画を指します。

以下のグラフは各アクションを実施したのちにおすすめ動画として表示されるものに、不要な動画が含まれたままである割合を示したもの。おすすめ動画を変更するためにユーザーが起こすアクションは「コントロール(再生する動画を意図的に選ぶ行為)」「『低く評価』ボタンを押す」「『チャンネルをおすすめに表示しない』ボタンを押す」「『興味なし』ボタンを押す」「視聴履歴の削除」の5種類。最も効果的なアクションは「『チャンネルをおすすめに表示しない』ボタンを押す」です。

より具体的に言うと、「『チャンネルをおすすめに表示しない』ボタンを押す」により43％、「視聴履歴の削除」により29％、「『低く評価』ボタンを押す」により12％、「『興味なし』ボタンを押す」により11％の「ユーザーが好まない動画」を防ぐことが可能であったことが明らかになっています。

そのため、Mozilla Foundationは「ユーザーの直感は正しく、YouTubeの『おすすめ動画を管理する方法』を行ってもおすすめ動画として表示されるものを効果的に変更することはできませんでした」と言及しています。

調査結果に対して、YouTubeの広報担当者であるElena Hernandez氏は、「YouTubeではすべてのコンテンツをブロックしようとしていないため、これらの動作は意図的なものです」とコメント。続けて、「重要なのは、我々のコントロールはトピックや視点全体を除外していないということです。特定のトピックをブロックするようなシステムにすると、視聴者に悪影響を与える可能性があるためです。YouTubeは学術研究を歓迎しています。そのため、YouTubeでは最近研究プログラムを通じてデータAPIへのアクセスを拡大しました。Mozillaの公開したレポートは我々のシステムが実際にどのように機能するかを考慮していないため、多くの洞察を集めることは困難です」と述べています。