ソニーがAI「グランツーリスモ・ソフィー」を発表、「グランツーリスモ」の世界チャンピオンを圧倒する腕前

ソニーのAI(人工知能)研究部門であるソニーAIが、深層強化学習を用いての「グランツーリスモ・ソフィー(GTソフィー)」を発表しました。GTソフィーはドライビング・カーライフシミュレーターの「グランツーリスモSPORT」を世界レベルでプレイできるように訓練されており、世界最高峰のプレイヤーたちを直接対決で打ち負かしたと、研究チームが発表された論文に記載されています。

Outracing champion Gran Turismo drivers with deep reinforcement learning | Nature
https://www.nature.com/articles/s41586-021-04357-7

革新的なAI「Gran Turismo Sophy™（グランツーリスモ・ソフィー™）」を発表 – Sony AI
https://ai.sony/ja/blog/blog-016-jp/

This AI beat the world’s best Gran Turismo players | Ars Technica
https://arstechnica.com/cars/2022/02/sony-trains-superhuman-ai-to-race-in-gran-turismo/

GTソフィーは、2020年4月にソニーAIが設立されてから進められてきたプロジェクトの下で、グランツーリスモシリーズを開発するポリフォニー・デジタルやソニーインタラクティブエンタテインメント(SIE)と協力しながら開発されました。学習には報酬やペナルティを与えて自律学習を促す「強化学習」が採用されています。

グランツーリスモはカーレースを楽しめるゲームですが、リアルさを追求したドライビングシミュレーターとしての側面も持つのが特徴。レースゲームでは車両性能のギリギリまで追及したドライビングテクニックを求められますが、グランツーリスモではそれに加えて空気抵抗などの影響も加味されるため、他プレイヤーがどのようにプレイしているのかが重要となります。

さらに、ブレーキをかけたりアクセルを踏んだりするタイミングや、相手を追い抜くふりを見せるといった戦術的なポイントも求められます。加えて、レースのルールを守った上でフェアプレイに努めることも非常に重要。つまり、GTソフィーは「コントロール」「レーシング・スキル」「レーシング・エチケット」の3点を軸に、学習を重ねていたというわけです。

ソニーAIは「GTソフィーは、チェスや将棋、囲碁、あるいは、リアルタイムのマルチプレイヤー戦略ビデオゲーム向けのAlphaStarやOpenAI FiveのようなこれまでのAIエージェントとは異なります」と述べ、単に戦略や戦術だけではなく、連続的な物理現象を取り扱うようなAIだとしています。

GTソフィーは、「グランツーリスモSPORT」で、特定の車とコースで訓練を重ねました。GTソフィー単体で走るレースもあれば、通常のゲームに登場するコンピューターの対戦相手と最大7人でレースを行うこともあったとのこと。コースの位置やスタート速度、車間距離、対戦相手のスキルレベルはレースごとにランダムで設定されました。

研究チームは、GTソフィーが前回よりもコースをうまく走れた場合に報酬を与え、さらに他の車を追い越した場合には追加報酬を与えました。一方、コーナーを曲がりきれなかったり、壁にぶつかったり、スリップしたり、他の対戦相手の車とぶつかったりするとペナルティを課したとのこと。

コースの走り方を覚えるには数時間のトレーニングが必要だったそうですが、GTソフィーは数日のうちにグランツーリスモSPORTのプレイヤーの95％より上手になったとのこと。4万5000時間の走行を経た結果、訓練で用いた3つのコースで超人的なタイムを叩き出したそうです。

さらに、グランツーリスモSPORTで世界トップレベルのタイムを保持するプレイヤー3人を招き、GTソフィーと対戦したところ、誰一人としてGTソフィーに勝てなかったとのこと。

例えば、GTソフィーは「ドラゴントレイル・シーサイド」というコースで、世界トップレベルの記録を持つエミリー・ジョーンズ氏ですら気づかなかったレーシングラインを見せたとのこと。ジョーンズ氏は「第1コーナーへの進入で、私はGTソフィーよりも遅いタイミングでブレーキをかけていましたが、GTソフィーの方がはるかに良い走りを見せて、次のコーナーで私を追い越していました。AIの走りを見るまではそのことに気づかず、『なんだ、代わりにそっちをやればいいんだ』と思いました」とコメントしています。

GTソフィーとジョーンズ氏のレースは以下で見ることができます。

Gran Turismo Sophy ONE ON ONE #1 | Emily Jones - YouTube


「レイク・マジョーレ・サーキット」では、人間のヴァレリオ・ギャロ氏がラップタイム114.466秒だったのに対し、GTソフィーは114.249秒でした。ギャロ氏はレースが終わった後にAIの走行を解析し、その後ラップタイムを114.181秒に伸ばすことができたそうです。

また、2021年7月に東京では、グランツーリスモSPORTのニホンにおけるトップレベルレーサーである宮園拓真氏・山中智瑛氏・國分諒汰氏・龍翔太郎氏を招いてレースを行いました。このレースではゴールした順位に応じてポイントを与えるルールでGTソフィーと人間で勝負を行い、結果は86対70で人間チームの勝利となりました。

2021年7月に東京で行われた人間チーム対GTソフィーチームのレース模様は、以下のムービーで見ることができます。

Gran Turismo Sophy RACE TOGETHER 2021 #1 [日本語] - YouTube


しかし、2021年10月に行われた再戦では、GTソフィーのトレーニング法を変更した結果、52対104でGTソフィーチームが圧勝したとのこと。研究チームは「深層強化学習を用いたレーシングAIのトレーニング方法の利点は、適切な条件である限り、エージェントは試行錯誤しながら正しい行動を学習することです」と述べています。

2021年10月に行われたレースが以下のムービー。

Gran Turismo Sophy RACE TOGETHER 2021 #2 [日本語] - YouTube


ただし、戦略的意志決定には改善の余地があると研究チームは指摘しています。例えば、GTソフィーはコースが真っ直ぐな時に相手をできるだけ追い抜こうとしますが、次のコーナーのブレーキングで追い抜かれてしまうことがよくあるとのこと。また、タイムペナルティでピットインする車がいる場合、通常はペナルティを受けた車が減速するのを待ちますが、GTソフィーは頑張って追い抜こうとするそうです。

ソニーAIは「GTソフィーは重要なマイルストーンを達成しましたが、まだ研究開発の初期段階にあります。ソニーAIは、PDIおよびSIEとのパートナーシップのもと、今後もGTソフィーの性能を向上させるとともに、『グランツーリスモ』シリーズにGTソフィーをどのように取り込めるか検討していきます」とコメント。将来的にゲーム内でプレイヤーがGTソフィーと対戦できるようになる可能性も示唆しています。

なお、グランツーリスモ・ソフィーの開発については、ソニーAIが公開している以下のムービーでも詳細に語られています。

The Making of Gran Turismo Sophy [日本語] - YouTube