Googleの人工知能「DQN」で主人公がすぐ死ぬゲーム「Montezuma’s Revenge」をプレイさせてみた結果こうなった

Googleの人工知能開発会社「DeepMind」は囲碁チャンピオンを打ち破った「AlphaGo」を開発しましたが、同時に、ゲームを自ら学んで人間以上に上達できる人工知能「DQN」も開発しています。一度プログラムを起動すればあとは人間が手を加えなくても「スペースインベーダー」や「ブロック崩し」といったゲームを勝手に練習し、達人級にまでなれるというDQNが、主人公が速効で死んでしまうゲーム「Montezuma's Revenge」に大苦戦しているムービーが公開されています。

Playing Montezuma's Revenge with Intrinsic Motivation - YouTube


「Montezuma's Revenge」のプレイ画面はこんな感じ。部屋の中に赤い服と帽子をかぶった主人公がいて、床にはドクロが転がっています。

ぴょんっとジャンプし、3階から2階に飛び降りる主人公。この主人公の特徴は何と言っても……

すぐ死ぬこと。マリオであればジャンプして着地はお手の物ですが、基本的にMontezuma's Revengeの主人公から高いところからジャンプすると死にます。

そして、床に転がるドクロにあたっても……

体が消滅して死にます。あまりにもすぐ死ぬため、アタリのゲーム2600本のうち、DQNが最も苦戦したのがMontezuma's Revengeであるとのこと。

ではどうすればいいのか？というと……

するするとハシゴを使って階下に降りる主人公。

ジャンプして……

ポールにつかまります。

さらにジャンプして2階の右端に着地後、ハシゴを下りて……

部屋の左端に移動。

カギをゲット。

これで別の部屋に移動できるわけです。さっそうと歩く主人公ですが……

点線で表された壁にぶつかって死亡しました。

レベル1には全部で24の部屋が用意されていて、カギをゲットして部屋から部屋へと移動していく仕組みです。

DQNにはこのうち、部屋1と部屋2を1億回トレーニングしてもらったとのこと。

この時、DQNは各回ごとに別の動きを行いました。つまり、いろんなパターンで部屋をクリアする方法を探っていったわけです。

2つ目の、紫色の部屋では……

剣をゲット。

紫色の部屋には以下のようなシーンもありました。

ピョンッとジャンプし、意気揚々と部屋を進んでいく主人公。

しかし、壁にぶち当たってすぐに死亡。

もう一度挑戦し……

死亡。

さらに、いったん引いて、動きを変えます。

壁が消えた瞬間に右方向に進み、うまく抜けられるかと思いきや……

なぜか逆戻り。

再び壁が現れて死亡。

ようやく壁を抜けて……

ハシゴで降りていくことができました。

……と、ここまではトレーニングの様子だったようで、ここからが1億回トレーニングを重ねた後の結果。床に転がるドクロに近づいていきます。

ピョンっと飛び越えました。

そしてカギをゲット。

イエーイと次の部屋に行こうとしたところで……

階上からジャンプ→着地で死亡です。

なんとか1つ目の部屋をクリアした様子で、ハシゴを使って下に降りていきます。

そして難所だった紫色の部屋へ。

壁が消えている瞬間に歩き始めたのはいいものの……

なぜか方向転換。その瞬間に再び壁が現れます。

もちろん死亡します。

人間がプレイすれば、そこまで難しいようなシーンではないのですが、死亡を繰り返しています。

ようやく壁を抜けることに成功。

そしてハシゴでさらに下の階へ。

右に進むと……

また別の雰囲気の部屋が現れました。

ポールを利用してカギをゲット。

さらにポールを伝って……

ジャンプ→着地→死亡の流れになることなく、ハシゴでさらに下へ進みます。

「一体あなたは何をやっているの？」という動きをひたすら繰り返し、死んでは生き返り、を繰り返していたDQNでしたが、ついに2つの部屋をクリアすることに成功した様子。

なお、現時点ではレベル1の24部屋のうち、15部屋を探索済みとのことです。

・つづき
Googleの人工知能「DQN」が人間より上手にプレイできるゲームとできないゲームの境界線 - GIGAZINE