プロゲーマーに大勝したAI「AlphaStar」が「スタークラフト2」で人類の上位0.2％となるグランドマスターに昇格

by Marco Verch Professional Photographer and Speaker

人工知能(AI)企業のDeepMindが開発する、リアルタイムストラテジー「スタークラフト2」の対戦AIである「AlphaStar」が、人間プレイヤーの上位0.2％にランクインしたことが発表されました。DeepMindはこのことを「機械学習にとって大きな成果」と評価していて、同様の技術を応用することによって、さまざまな課題の解決に役立つ可能性があるとしています。

Grandmaster level in StarCraft II using multi-agent reinforcement learning | Nature
https://www.nature.com/articles/s41586-019-1724-z

AlphaStar: Grandmaster level in StarCraft II using multi-agent reinforcement learning | DeepMind
https://DeepMind.com/blog/article/AlphaStar-Grandmaster-level-in-StarCraft-II-using-multi-agent-reinforcement-learning

Googleが抱えるAI企業のDeepMindは、2016年からブリザード・エンターテインメントとコラボレーションし、スタークラフト2をプレイ可能なAIである「AlphaStar」の開発をスタート。AlphaStarは「人間のトッププレイヤーを相手に10連勝を決める」という快挙を2019年1月に達成しました。

DeepMindのAI「AlphaStar」が世界トッププレイヤーを相手に「スタークラフト2」で10-1の大勝 - GIGAZINE

DeepMindは、新しいAlphaStarの注目すべきポイントとして以下の4点を挙げています。

◆1：AlphaStarに「より人間らしい条件」でプレイさせる
これまでは、システム上に表示されているマップやデータをAIが直接読み込んでプレイしていました。しかし、スタークラフト2のプロプレイヤーであるDario TLO Wünsch氏による監修のもと、カメラを通してプレイ画面を見たり、行動の頻度に強い制限を設けたりすることで、AlphaStarには人間と同等の制約が課されています。

◆2：エージェントの訓練を自動化
これまでのエージェントは、どうしても一部のアクションシーケンスを手作業でプログラミングする必要がありました。しかし、今回DeepMindが発表した新しいAlphaStarは、マルチエージェント強化学習によって、エージェントの訓練を自動化することに成功したとのこと。

訓練は、過去の実験で訓練されたエージェントからではなく、教師あり学習によって訓練されたエージェントによってのみ行われるとのこと。DeepMindは「ニューラルネットワーク、強化学習によるセルフプレイ、マルチエージェント学習、模倣学習などといった汎用(はんよう)的な機械学習技術を使い、ゲームデータから直接学習することを選択しました」と述べています。

◆3：人間と同じマップと条件でオンラインプレイ済み
AlphaStarは、公式ゲームサーバーであるBattle.netでプレイしていたとのこと。つまり、人間のプレイヤーと同じマップと条件を使ってプレイしていたことになります。Battle.netでの試合のリプレイは以下のサイトですべて配布されています。

AlphaStar Resources | DeepMind

◆4：3種族すべてでグランドマスターリーグ入り
スタークラフト2にはProtoss、Terran、Zergという3つの種族が用意されていて、AlphaStarはその全てでプレイが可能。AlphaStarではそれぞれの種族に対応して学習したエージェントが用意されていて、3つのエージェントすべてが1つのニューラルネットワークとリンクしているそうです。スタークラフト2では、「南北アメリカ」「ヨーロッパ」「アジア」「中国」の4エリアでランキング上位200人に入ると、グランドマスターリーグに参加することができます。AlphaStarの3つのエージェントはすべてグランドマスターリーグに昇格。これはAlphaStarがスタークラフト2プレイヤーの上位0.2％にランクインしたことを示しています。

新しいAlphaStarと実際にプレイをしたDario TLO Wünsch氏は「AlphaStarのゲームプレイは非常に印象的でした。AIは戦略的位置を判断するのに非常に熟練しており、相手とのエンゲージメントやアンエンゲージメントのタイミングを正確に把握しています。AlphaStarは正確な制御能力を持っていますが、超人的とは感じられませんし、もちろん人間が理論的に達成できないレベルではありません。全体的に見ると、StarCraftは本物の人間のようにゲームをプレイしているかのように感じられました」と感想を述べています。

DeepMindは「私たちはオープン・エンド学習の可能性と限界を理解することに関心を持っています。オープン・エンド学習によって、複雑な現実世界の領域に対応できる堅牢で柔軟なエージェントを開発できます。スタークラフト2のようなゲームでは、プレイヤーは限られた情報を用いて、複数のレベルや時間スケールに影響を及ぼすような動的で難しい決定をしなければなりません。そのため、スタークラフト2はこれらのアプローチを進めるための優れた訓練場といえます」と述べました。