OpenAIの人工知能「OpenAI Five」がDota 2の5対5バトルで人間チームに勝利

人工知能(AI)をオープンソース化するために活動する非営利の研究機関「OpenAI」は、AI技術が将来的に誰にとっても恩恵を受けられるような安全な進歩を遂げるようにとイーロン・マスク氏らによって設立された組織です。そんなOpenAIが研究を進めるAIは、特定の条件下では熟練のDota 2プレイヤーにも勝利できるほどの腕前を身に付け始めています。

OpenAI Five
https://blog.openai.com/openai-five/

OpenAI’s ‘Dota 2’ neural nets are defeating human opponents | TechCrunch
https://techcrunch.com/2018/06/25/openais-dota-2-neural-nets-are-defeating-human-opponents/

OpenAIでは研究の一環としてAIにゲームを学習させるなどが行われており、2017年8月にはチェスや囲碁よりもはるかに複雑なビデオゲームのDota 2上で、世界チャンピオンに1対1のバトルで勝利を収め話題となりました。

OpenAI開発の人工知能がゲームDota 2の1対1バトルで人間の世界チャンピオンに勝利 - GIGAZINE

OpenAI製のAIがDota 2の1対1のバトルで世界チャンピオンに勝利した際、開発チームは今後の目標として「5対5のチーム戦で人間のチームにAIを加えること」を掲げており、それに向けて開発が進められているのが「OpenAI Five」と呼ばれる5つのニューラルネットワークです。OpenAI FiveはDota 2で5対5のチーム戦をプレイできるように設計されたもので、このOpenAI Fiveも特定の条件下で人間のチームを打ち負かすことができるレベルにまで進化しているそうです。

チェスや囲碁のようなターンベースのゲームと異なり、Dota 2はリアルタイムで多くの意志決定を行わなければいけないゲームです。Googleが開発し、世界最強の棋士を倒したことで話題となった囲碁AIのAlphaGoはよく練られた手に対応するために多くの時間を必要としましたが、OpenAI FiveがプレイするDota 2ではそのような猶予は一切与えられないため、いかに高度な判断を下せるニューラルネットワークとなっているかがよくわかると思います。

Google Cloudの12万4000コア上で動作しているというOpenAI Fiveが、実際に人間チームとDota 2の5対5バトルを繰り広げている様子は以下のムービーで見られます。OpenAI Fiveは5つのボットを用いてチーム戦を行うために、ニューラルネットワークに「チーム戦」「価値予測」「森林探査」「奇襲攻撃」「集中」「追跡」「陽動」といった7つの要素を学習させており、それぞれの項目に合わせ、OpenAI Fiveがどのようにキャラクターを操作しているのかを見ることができます。

OpenAI Five: Dota Gameplay - YouTube


OpenAIによれば、Dota 2のプレイは平均45分の対戦を30fpsで進めるケースが多く、その結果、1対戦で約8万フレームの情報が得られ、そのうちの4分の1を分析することでOpenAI Fiveの学習を進めてきたそうです。OpenAI Fiveは180日間毎日Dota 2をプレイすることで膨大な量のデータを学習してきましたが、それでもゲームに完全に適応したとは言い難く、特定のキャラクター・アイテム・戦略にはまだ対応できないそうです。そのため、人間のチームと対戦する際は、「対応していないキャラクター・アイテム・戦略を使用しない」という条件下でなければ勝利を収めることはできません。

このような制限があるものの、開発チームは2018年8月に開催されるeスポーツの世界大会にOpenAI Fiveを出場させることをもくろんでおり、それに向け開発を進めています。また、OpenAIは2018年7月にTwitch上でOpenAI FiveとDota 2のトップチームを競わせるトーナメントを開催予定で、この中でOpenAI Fiveに関するプレゼンテーションも行われるようです。