「よくないね！」ボタンには意味があるのか？

一生かかっても消費しきれないほど多数のコンテンツがあふれる現代においては、それぞれのユーザーにぴったりのコンテンツを推薦するリコメンド機能がいたるところで活躍しています。特にSpotifyのような音楽ストリーミングサービスでは、リコメンドの優劣次第でユーザーが離れてしまうという重要な機能となっています。そんなSpotifyでは低評価ボタンがありませんが、「高評価ボタンのみ」の場合と「高評価ボタン＆低評価ボタン」の場合でどれほど精度に差が出るのかをコーネル大学の研究者が論文にまとめて発表しました。

Evaluating Music Recommendations with Binary Feedback for Multiple Stakeholders by Sasha Stoikov, Hongyi Wen :: SSRN
https://papers.ssrn.com/sol3/papers.cfm?abstract_id=3919046

‘Dislike’ button would improve Spotify’s recommendations | Cornell Chronicle
https://news.cornell.edu/stories/2021/09/dislike-button-would-improve-spotifys-recommendations

実験は、500万曲の中から選ばれた音楽をユーザーに聞かせて評価してもらうという形式で行われました。実験を主導したサシャ・ストイコフ氏によると、曲の最初の3秒間は評価ができず、曲を聴き始めてから3秒後に「低評価」が選択可能になり、6秒後に「高評価」、12秒後からは「超高評価」の選択肢も選べるという形式にすることで、ユーザーが真に気に入った場合にのみ高評価が選択できるように注意したとのこと。

こうして集めた40万件のデータを元に、低評価のデータを除いて「高評価＆評価無し」のデータのみでアルゴリズムを訓練した場合と、評価無しのデータを除いて「高評価＆低評価」のデータのみで訓練した場合の精度の違いを調べました。すると、「高評価＆低評価」のデータで訓練したアルゴリズムが推薦した曲の方が「高評価＆評価無し」のデータで訓練したアルゴリズムの推薦曲に比べて20％も高評価を貰いやすいということが判明しました。

また、実験の中でストイコフさんは知名度との関連も調査したところ、あまり知られていないアーティストは高評価を貰いにくく、Spotifyのようなプラットフォームで多くの人に推薦されにくいことも判明。知名度の低いアーティストが高評価をもらいにくいことに加えて、多くのアルゴリズムはユーザーの評価ではなく、どの曲を聴いたかを重視してトレーニングされるため、すでによく知られていて多くの人に聴かれているアーティストばかりが推薦されがちだとストイコフ氏は述べています。

ストイコフ氏によると、研究チームの究極の目標は、レコード会社と協力して、「曲を大きなプラットフォームに配信する前にどれくらいユーザーに好まれそうなのかを判断できるようにすること」だとのこと。今後の研究ではNetflixなど別の配信プラットフォームに焦点を当て、より進歩したアルゴリズムを組み込んだり、プラットフォームやレコード会社などの利害関係者の目標とアルゴリズムの目標の結びつき方をモデリングしたりしていくと研究者は述べています。