世界のトッププロゲーマーたちに挑むニューラルネットワーク「OpenAI Five」とは？

スペースXやテスラのイーロン・マスク氏や、LinkedInの創業者であるリード・ギャレット・ホフマン氏、PayPalの創業者であるピーター・シール氏など、数々の著名人が寄付を行う非営利の人工知能(AI)研究団体「OpenAI」は、AIが人類に利益をもたらすことを保証するために研究開発を進める団体です。そんなOpenAIが近年開発に力を注いでいるのが、「OpenAI Five」と呼ばれるAIシステムです。

OpenAI Five
https://openai.com/five/

「OpenAI Five」は、ストラテジーゲーム「Dota 2」をプレイするAIシステムです。Dota 2は5対5でのチーム戦が基本となっているのですが、OpenAI Fiveはひとチーム分の5体のキャラクターをすべてまとめて操作することができます。

「なぜDota 2なのか？」という疑問について、OpenAIは「Dotaは、チームワーク・長期的な視野・隠された情報など、現実世界の厄介さと連続性を持ち合わせているため、これらを捕捉することができる汎用AIシステムを開発するためのテストベッドとなりました。我々がDotaのトレーニングに使用したシステムは、現在のAIアルゴリズムが大規模かつ長期的な学習を実行可能であることを示しました。また、このシステムはDotaの学習にだけ使用されるものではなく、ロボットハンドの制御などにも活用できます」と記しています。

このOpenAI Fiveと同じシステムが用いられたという「精細なロボットハンドの制御が可能なシステム」がどのようなものなのかは、以下の記事を読めば分かります。

まるで人間の手のような器用過ぎる動作を見せつけるロボットアーム「Dactyl」 - GIGAZINE

OpenAI Fiveはニューラルネットワークのチームとも呼ぶべきもので、Dota 2に関する知識がゼロの段階から学習を進めてきました。ゼロからDota 2のプレイを学ぶということで、まるで人間の脳をシミュレートしているかのようだそうです。OpenAI Fiveは人間が目から取得することができる視覚情報を2万の数字リストとして認識し、その中から8つの数字リストを表示することで自分が次にとる行動を決定します。OpenAIの開発チームはOpenAI Fiveが持つ数字リストを、ゲーム内のアクションと結び付けるためのコードを書いているそうです。

ニューラルネットワークの学習時について、OpenAI Fiveのニューラルネットワークはランダムパラメータから始まり、汎用訓練システムのRapidを使用することで、より良いパラメータを学習していくこととなります。RapidはOpenAI Fiveのコピーを複数作成し、それぞれに毎日数万回もゲームをプレイさせることで、一気に180年分ものゲームプレイデータを生成することが可能です。この並列処理は12万8000個分のCPUコアとGPU256個分のマシンパワーに匹敵するとのこと。

各ゲームフレームで、Rapidは何か良いことが起こった時を「陽性」、悪いことが起きた時を「陰性」として数値報酬を計算します。さらに、強化学習方式のProximal Policy Optimizationを適用することで、陽性の報酬が発生する直前のニューラルネットワークが作成したアクションのパラメータを更新。これにより陰性の報酬が発生する可能性を低くし、ゲーム上で良い結果につながるアクションだけを実行させるようにしているそうです。

そんなOpenAI Fiveの歩みは、5対5のチーム戦ではなく1対1のバトルからスタートしています。2017年8月にOpenAIの作ったAIがDota 2の世界チャンピオンであるDendi氏を1対1のバトルで撃破しており、その際の様子は以下の記事を読めばよくわかります。

OpenAI開発の人工知能がゲームDota 2の1対1バトルで人間の世界チャンピオンに勝利 - GIGAZINE

その後、Dota 2を1対1でプレイする際の知見をもとに、5対5の対戦が可能なOpenAI Fiveの開発がスタート。まずは2018年6月に熟練のDota 2プレイヤーを相手に5対5のチーム戦で勝利。

OpenAIの人工知能「OpenAI Five」がDota 2の5対5バトルで人間チームに勝利 - GIGAZINE

その後、著名プレイヤーチームと対戦することを発表し、2018年8月にはこの対戦に勝利しています。

プロゲーマーチームと5対5で対戦したOpenAIの人工知能「OpenAI Five」が勝利 - GIGAZINE

OpenAI Fiveが勝利を収めたプロゲーマーチームは、あくまでも個々がプロゲーマーというだけであり、普段プロのチームとして活躍しているわけではありません。そこで、OpenAI Fiveは普段からチームを組んで戦っているDota 2のプロチームと対戦して勝利を収めることを最終目標として挙げており、2018年8月20～25日にかけて開催される「The International 8」の中でその対戦がついに実現します。

Dota 2にはプレイヤーの世界ランキングである「Matchmaking Rating(MMR)」という指標があるのですが、このMMRでこれまでのOpenAI Fiveの対戦相手の強さを見ると以下の通り。横軸が時間、縦軸が推定のMMRを示しています。2018年4月の時点では開発チームと同程度の2000ほどしかなかったMMRが、2018年8月時点では軽く6000を越えるという急成長をみせています。