Googleの人工知能「DQN」が人間より上手にプレイできるゲームとできないゲームの境界線

Googleが開発中のゲーム専用人工知能「DQN(deep Q-network)」は、人工知能自身がゲームをプレイしながら学び、人間以上に腕前を上達していくことが可能です。そんなDQNがさまざまなゲームをプレイした結果、人間以上にうまくプレイできるゲームとそうではないゲームが存在することが明らかになりました。

Google DeepMind Blog Deep Reinforcement Learning
https://deepmind.com/blog

人間は、体の運動制御などの簡単なタスクから、ハイレベルな認知的タスクまで、幅広いレベルのタスクを解決することができます。Googleの人工知能開発会社「DeepMind」では、人間と同レベルのパフォーマンスや普遍性を備えた人工知能の開発を目標としています。DeepMindが開発しているゲーム専用人工知能の「DQN」は、ゲームプレイ中に何度も試行錯誤を繰り返してゴールを目指すことから、その学習形態は強化学習(reinforcement learning)と呼ばれています。また、DQNは自己学習して知識を蓄積しています。

DeepMindでは、DQNに予備知識なしの状態でAtari 2600のゲーム50種類をプレイさせた結果、DQNは約半数の29本のゲームにおいて人間の腕前を上回るプレイを見せました。最も点数が高かったゲーム「Video Pinball」では、人間と比べると2539％も高い点数をたたき出しています。灰色のグラフで示されている、別の線形学習モデルのプレイ結果と比べても、DQNの性能の高さがうかがえます。一方で、主人公が速効で死んでしまうゲーム「Montezuma's Revenge」には大苦戦し、DQNのプレイ結果は「0%」となっています。

なお、DQNのソースコードとAtari 2600のエミュレーターは無料で公開されているため、誰でもDeepMindの実験を再現することが可能です。

DQNがAtari 2600のブロック崩しゲーム「Breakout」をプレイしている様子は以下のムービーから。

DQN Breakout - YouTube


また、「スペースインベーダー」のプレイの様子は以下から見ることができます。

DQN SPACE INVADERS - YouTube


DeepMindではDQNのアルゴリズムを改善し、学習力学の安定化を行ったり、以前のゲームプレイ経験を優先的に扱ったり、アウトプットの標準化・収集・再計測を行ったりしたとのこと。この改善により、Atari 2600のゲームスコアが3倍以上にアップしたそうです。また、Atari 2600のゲームは2D空間に限定されることから、3Dの迷路でゴールを目指すゲーム「Labyrinth」を独自に開発し、DQNの学習に導入しているそうです。

実際にDQNがLabyrinthをプレイしている様子は以下のムービーで見ることができます。

Asynchronous Methods for Deep Reinforcement Learning: Labyrinth - YouTube


DeepMindではDQNをはじめとする人工知能がさまざまなタスクを実行できるように開発を進めていて、今後も開発を続けて人工知能の能力を高め、ヘルスケアアプリなど社会に有益な活用方法を模索中とのことです。