動画

Googleの人工知能「DQN」で主人公がすぐ死ぬゲーム「Montezuma’s Revenge」をプレイさせてみた結果こうなった


Googleの人工知能開発会社「DeepMind」は囲碁チャンピオンを打ち破った「AlphaGo」を開発しましたが、同時に、ゲームを自ら学んで人間以上に上達できる人工知能「DQN」も開発しています。一度プログラムを起動すればあとは人間が手を加えなくても「スペースインベーダー」や「ブロック崩し」といったゲームを勝手に練習し、達人級にまでなれるというDQNが、主人公が速効で死んでしまうゲーム「Montezuma's Revenge」に大苦戦しているムービーが公開されています。

Playing Montezuma's Revenge with Intrinsic Motivation - YouTube


「Montezuma's Revenge」のプレイ画面はこんな感じ。部屋の中に赤い服と帽子をかぶった主人公がいて、床にはドクロが転がっています。


ぴょんっとジャンプし、3階から2階に飛び降りる主人公。この主人公の特徴は何と言っても……


すぐ死ぬこと。マリオであればジャンプして着地はお手の物ですが、基本的にMontezuma's Revengeの主人公から高いところからジャンプすると死にます。


そして、床に転がるドクロにあたっても……


体が消滅して死にます。あまりにもすぐ死ぬため、アタリのゲーム2600本のうち、DQNが最も苦戦したのがMontezuma's Revengeであるとのこと。


ではどうすればいいのか?というと……


するするとハシゴを使って階下に降りる主人公。


ジャンプして……


ポールにつかまります。


さらにジャンプして2階の右端に着地後、ハシゴを下りて……


部屋の左端に移動。


カギをゲット。


これで別の部屋に移動できるわけです。さっそうと歩く主人公ですが……


点線で表された壁にぶつかって死亡しました。


レベル1には全部で24の部屋が用意されていて、カギをゲットして部屋から部屋へと移動していく仕組みです。


DQNにはこのうち、部屋1と部屋2を1億回トレーニングしてもらったとのこと。


この時、DQNは各回ごとに別の動きを行いました。つまり、いろんなパターンで部屋をクリアする方法を探っていったわけです。


2つ目の、紫色の部屋では……


剣をゲット。


紫色の部屋には以下のようなシーンもありました。


ピョンッとジャンプし、意気揚々と部屋を進んでいく主人公。


しかし、壁にぶち当たってすぐに死亡。


もう一度挑戦し……


死亡。


さらに、いったん引いて、動きを変えます。


壁が消えた瞬間に右方向に進み、うまく抜けられるかと思いきや……


なぜか逆戻り。


再び壁が現れて死亡。


ようやく壁を抜けて……


ハシゴで降りていくことができました。


……と、ここまではトレーニングの様子だったようで、ここからが1億回トレーニングを重ねた後の結果。床に転がるドクロに近づいていきます。


ピョンっと飛び越えました。


そしてカギをゲット。


イエーイと次の部屋に行こうとしたところで……


階上からジャンプ→着地で死亡です。


なんとか1つ目の部屋をクリアした様子で、ハシゴを使って下に降りていきます。


そして難所だった紫色の部屋へ。


壁が消えている瞬間に歩き始めたのはいいものの……


なぜか方向転換。その瞬間に再び壁が現れます。


もちろん死亡します。


人間がプレイすれば、そこまで難しいようなシーンではないのですが、死亡を繰り返しています。


ようやく壁を抜けることに成功。


そしてハシゴでさらに下の階へ。


右に進むと……


また別の雰囲気の部屋が現れました。


ポールを利用してカギをゲット。


さらにポールを伝って……


ジャンプ→着地→死亡の流れになることなく、ハシゴでさらに下へ進みます。


「一体あなたは何をやっているの?」という動きをひたすら繰り返し、死んでは生き返り、を繰り返していたDQNでしたが、ついに2つの部屋をクリアすることに成功した様子。


なお、現時点ではレベル1の24部屋のうち、15部屋を探索済みとのことです。


・つづき
Googleの人工知能「DQN」が人間より上手にプレイできるゲームとできないゲームの境界線 - GIGAZINE

・関連記事
Googleの自己学習する人工知能DQNを開発した「ディープマインド」の実態、何が目的なのか? - GIGAZINE

ゲームを自ら学んで人間以上に上達できる人工知能「DQN」が人間を脅かす日はいつくるのか? - GIGAZINE

囲碁チャンピオンを打ち破ったGoogleの人工知能「AlphaGo」を作った天才デミス・ハサビスが人工知能を語る - GIGAZINE

自己学習する「人間のような」次世代人工知能を開発するカギとなるものは? - GIGAZINE

Googleの人工知能「AlphaGo」を作ったDeepMindがAIの暴走を止める「緊急停止ボタン」の仕組みを開発 - GIGAZINE

Googleが人工知能AlphaGoと世界最強棋士の対局から学んだ2つのこと - GIGAZINE

MITが選ぶ2016年に注目すべき革新的技術10選まとめ - GIGAZINE

in ソフトウェア,   動画,   ゲーム, Posted by logq_fa