多くのゲームで採用されているプレイヤー評価システムを導入したゲームが非難を浴びてしまった理由とは？

多数のプレイヤーが遊べるようなオンラインの対戦ゲームでは、各プレイヤーの実力を評価して数値化・階級分けするレーティングシステムが実装されています。レーティングシステムはプレイヤーの戦績から獲得できるポイント配分を調整したり、レベルの近いプレイヤー同士をマッチングしたりするためにも導入されていますが、多くのゲームが採用している一般的なレーティングシステムを導入したことで多くのプレイヤーから非難を浴びてしまったゲーム開発者のraysplaceinspace氏が、どのように問題を追究・解決したかを語っています。

Elo sucks — better multiplayer rating systems for smaller games | by raysplaceinspace | acolytefight | Medium
https://medium.com/acolytefight/elo-sucks-better-multiplayer-rating-systems-for-smaller-games-8ca588ee652f

raysplaceinspace氏が運営するゲーム「Acolyte Fight」は、多人数参加型のシューティングバトルゲームです。一見シンプルなゲームですがレーティングシステムも実装されており、プレイヤーの戦績はランキング形式で公開されています。多くのゲームではチェスの実力を評価する手法を応用したイロレーティングシステムが採用されており、League of LegendsやDota 2でもイロレーティングベースのシステムが実装されています。

Acolyte Fightでも当初はイロレーティングをベースにしたシステムが実装されていましたが、「レーティングシステムがゴミだ」と多くのプレイヤーから反感を買ったとのこと。raysplaceinspace氏はいくつものゲームをプレイすることで何カ月もかけてレーティングシステムを理解し、Acolyte Fightにおけるレーティングでは「プレイヤーの実力に基づくポイント配分」に問題があることを突き止めました。

イロレーティングでのポイント配分はプレイヤー間のポイント差に基づいており、以下のようなグラフで表されます。縦軸は得られるポイント、横軸は相手プレイヤーとのポイント差で、勝った場合は青線、負けた場合は赤線のポイントを獲得できます。

例えば、プレイヤーが自分より500点格下の相手と対戦した場合、勝てば0.5のポイントが得られ、負ければ9.5ポイントを失います。つまり、ランクの高いプレイヤーは95％の確率で500点格下の相手に勝つと見なされており、19勝で得られるポイントと1敗で失うポイントが同じになっています。

イロレーティングではあくまでゲームの均衡を保つために経験に応じたポイント配分が行われています。またイロレーティングでは獲得したポイントに応じて、以下の指数曲線に沿うように勝率が上がっていくことを前提としています。縦軸は勝率、横軸はプレイヤーの総獲得ポイントです。

Acolyte Fightにイロレーティングが採用されたことで多くのプレイヤーから反感を買ってしまったのは、Acolyte Fightの実際の勝率曲線がイロレーティングの勝率曲線と異なっていたことが原因でした。

Acolyte Fightにおける10万試合を分析した勝率は以下のグラフのようになっていました。縦軸は勝率、横軸はプレイヤーの総獲得ポイントで、赤線は近似値、青線はポイントごとの実際の勝率を表しています。グラフは指数曲線よりも直線に近い線を描いており、raysplaceinspace氏は「グラフの結果は、レーティングシステムを変更しなければならないことに気づかせてくれました」と語っています。

「トップレベルのプレイヤーを取り上げて、高レベル、中レベル、低レベルのプレイヤーと繰り返し戦わせて、それぞれに対する勝率が統計的に確信できるようにしたとしても、プレイヤーの勝率が指数曲線に沿うことはありません。誰が、どのようなデータを基にして、なぜ指数曲線を使うことを決めたのでしょうか？」とraysplaceinspace氏は疑問を呈しています。

イロレーティングを採用するLeague of LegendsやDota 2のようなゲームはなぜ間違った勝率曲線の影響を受けないのかというと「優れたマッチメイキングシステムによってレベルの近いプレイヤーがマッチするよう設計されているから」だとraysplaceinspace氏は推測しています。

Acolyte Fightでは最終的に、過去10万試合のデータから計算した勝率曲線を基にプレイヤーが得られるポイントを調整するシステムを採用しました。また、初心者との試合で得られる、または失うポイントは少なく設計されています。さらに1試合につき必ず1ポイントの増減があり、1日おきにプレイヤーの総獲得ポイントは5ポイントずつ減少していきます。つまり、トップクラスに君臨しているプレイヤーでもAcolyte Fightを遊ばなくなってしまったら徐々にポイントが減ってしまうというわけ。なお、ポイントとは別にレーティングが保存されており、トップランカーが久々にゲームを遊んでも初心者扱いされることはないという措置がとられています。

Acolyte Fightのレーティングシステムは、マッチメイキングシステムに頼ることができない小規模なゲームに適しているとraysplaceinspace氏は述べました。なお、Acolyte Fightのレーティングシステムを一新したことで、システムに苦情を寄せていたプレイヤーはゼロにはなっていないものの激減。「世の中に完璧なレーティングシステムがあるのでしょうか？ おそらくないでしょう」とraysplaceinspace氏はコメントしています。