「ロックマン2 Dr.ワイリーの謎」のボス戦でAIを評価するベンチマークが登場

by - EMR -

AI(人工知能)アルゴリズムの進化によって、本来人間が遊ぶために作られたコンピューターゲームをAIもプレイできるようになり、中には世界ランカーにも勝利して人類の上位0.2％に匹敵する強さを誇るものも登場しています。1988年にファミリーコンピュータで発売されたカプコンの横スクロールアクション「ロックマン2 Dr.ワイリーの謎」を使って、AIのパフォーマンスを評価するベンチマーク「EvoMan」が開発されました。

[1912.10445] EvoMan: Game-playing Competition
https://arxiv.org/abs/1912.10445

EvoMan – Karine Miras
https://karinemirasblog.wordpress.com/portfolio/evoman/

Researchers want to use Mega Man 2 to evaluate AI | VentureBeat
https://venturebeat.com/2019/12/26/evoman-mega-man-ii-capcom-ai-benchmark/

「AIアルゴリズムの性能を評価するためにゲームを利用する」という研究には前例があります。例えば、2012年に発表された「Arcade Learning Environment」は幅広いAI技術をテストするために設計されたベンチマークで、55種類以上のAtari 2600のゲームを利用します。また、人工知能を研究する非営利団体のOpenAIは、強化学習におけるサンプル効率と汎化性能を16種類のゲームで評価する「Procgen Benchmark」を発表しました。

AI研究者であるFabricio Olivetti de Franca氏らの研究チームは、「ロックマン2 Dr.ワイリーの謎」を使ってAIアルゴリズムの一般化と共進化による性能向上を評価する「EvoMan」を発表しました。

「ロックマン2 Dr.ワイリーの謎」は、8つの選択ステージと6つのワイリーステージで構成されています。8つの選択ステージにはそれぞれボスが設定されており、ボスを倒すことで新しい武器をゲット可能。ボスにはそれぞれ弱点が決まっているので、「どの武器でどのボスを倒すのか」を考えることがゲーム攻略の大きな鍵となります。

EvoManでは、AIの操作するロックマンが8つのボス戦を攻略します。エージェントは、任意の4体のボス戦で敵の攻撃パターンや回避パターンを識別し、それに対応する方法を習得。そして、「学習した戦略が残り4体のボスにどこまで通用するか」というAIの適応戦略をEvoManで測定。最終的に8つのボス戦でのパフォーマンスの平均で、AIアルゴリズムのランク付けが行われるとのこと。

実際にEvoManを、遺伝的アルゴリズムで学習するニューラルネットワーク(NEAT)のAIがプレイする様子が以下のムービー。EvoManの見た目は本家「ロックマン2 Dr.ワイリーの謎」と全く異なりますが、ボス(黄色のキャラクター)の動き方や攻撃パターンは同じです。

EvoMan - MultiEvolution - NEAT - YouTube


また、研究チームは各アルゴリズムが8体のボスを倒せる能力があるのかを検証するために、「AI操作のロックマン」対「AI操作のボス」で戦わせて、AIに進化を促しました。最終的に進化によって倒せるようになったのはエアーマン・メタルマン・クイックマン・バブルマンの4体だったとのこと。なお、研究者はこの研究を通じて「ロックマン2 Dr.ワイリーの謎」で最も倒すのが簡単なボスはエアーマンであると論じています。

EvoMan - Coevolution - YouTube


なぜ「ロックマン2 Dr.ワイリーの謎」を使ってAIベンチマークを開発したのかについて、研究チームは「AIが1つの敵に勝利したり押し寄せる敵に勝利したりするにはどれだけ一般化しているか、困難になる敵を生み出すためにどれだけ共進化できているのかをテストするには『ロックマン2 Dr.ワイリーの謎』がベンチマークにぴったりです」と主張しました。