Googleの自己学習する人工知能DQNを開発した「ディープマインド」の実態、何が目的なのか？

Googleが4億ポンド(約750億円)もの大金をかけて買収した人工知能の開発を行うベンチャー企業が「DeepMind(ディープマインド)」です。このディープマインドが、機械学習技術と神経科学を応用することで、スペースインベーダーやブロック崩しなどのゲームをプレイしながら勝手にハイスコアを出せるように学習していくアルゴリズム「DQN(Deep Q-Network)」を開発し大きな話題となりましたが、Googleは一体全体人工知能を使って何を企んでいるのでしょうか。

DeepMind: inside Google's super-brain (Wired UK)
http://www.wired.co.uk/magazine/archive/2015/07/features/deepmind/viewall

ディープマインドが発表したDQNは、機械学習と神経科学を応用するところから生み出された汎用学習アルゴリズムです。DQNに与えられるのは、ゲーム機からの画面出力信号と「スコアを最大化するように」という単純な指示だけで、ゲームをプレイするために覚える必要のある「ルール」は、自身でゲームを何度もプレイすることで学習していきます。

DQNがどのくらいの学習能力を持っているかテストした実験では、49種類のAtari 2600用ゲームをプレイさせています。テストの結果、DQNはボクシングなどの格闘対戦からカーレーシングに至るまであらゆる種類のゲームを数時間でマスターしてしまい、49種類のゲームの内、43のゲームで既存のAIよりもハイスコアを記録、さらに29タイトルではプロゲーマーよりも高いスコアをたたき出したそうです。

By Chris L

実際にスペースインベーダーをプレイさせたところ、初めはすぐ敵にやられてしまうのですが、3回目のプレイで敵を攻撃して撃破する方法を学び、さらに30分が経過すると、ゲームのリズムをつかんで「いつ攻撃していつ隠れるべきなのか」をつかんでいった模様。さらに、一晩中DQNにスペースインベーダーをプレイさせたところ、最終的には弾を無駄撃ちすることなくハイスコアをたたき出すことが可能になったとのこと。このレベルまでくると、世界中の誰よりもDQNがスペースインベーダーを上手にプレイできるレベルだそうです。

DQNがスペースインベーダーをプレイしている様子は以下のムービーから確認可能。AIとは思えないほど高度な動きをしており、陣地にあるトーチカ(防御陣地)をうまく使いながら敵を撃破する様子が見られます。

DeepMind: Space Invaders - YouTube


他にも、ブロック崩しゲームの元祖である「ブレイクアウト」もDQNにプレイさせています。その際のDQNの進歩ぶりについて「30分で100ゲームをプレイし、バーを動かして跳ね返ってくるボールに当てる必要があることを学びました」と語るのはディープマインドの共同創立者である研究者のデミス・ハサビス氏。

ハサビス氏によると「プレイから1時間が経過すると、成績は定量的には良くなりますが、まだ優れた成績を残したとは言いがたいレベルです。しかし、ゲーム開始から2時間が経過すると、ゲームのほとんどをマスターします。そして4時間が経過すると、DQNはゲームで高得点をたたき出すための最適な戦略として『カベに穴を開けてボールをカベの向こうでバウンドさせる方法』を編みだしました。そして驚くべきことに、このAIを設計したエンジニアは『DQNが編み出したブロック崩しにおける攻略方法』を一切知らなかった、という点です」とのことで、DQNが単なるアルゴリズムとは思えないほどに優れた学習能力を持っていることをアピールしています。

DQNがブレイクアウトをプレイしている様子は以下のムービーで見られます。プレイ回数が増えるごとに徐々にルールを学習していき、最終的には虹色のカベの向こうにボールを送り込んで高得点をたたき出す様子まで見られます。

DeepMind: Breakout - YouTube


DQNについてハサビス氏は、「これは単なるゲームにすぎませんが、取り扱うデータを株式市場のデータに変えることも可能です」とコメント。さらに、ディープマインドでの取り組みについて「『ディープラーニング』と『強化学習』という2つの研究分野のアルゴリズムを実に基本的な方法で掛け合わせたに過ぎません。我々はあるひとつの分野から学習したアルゴリズムを、新しい領域に適用することに興味を持っているのです」と語っています。

なお、ディープマインドの創立者であるデミス・ハサビス氏は単なる優秀なコンピューターサイエンティストであると同時に、4歳でチェスをはじめてすぐに神童と呼ばれ、「史上最も優秀なチェスプレイヤー」とまで評された人物。そんなハサビス氏がどんな人物なのかは以下の記事を読めば分かります。

Googleの人工知能開発をリードするDeepMindの天才デミス・ハサビス氏とはどんな人物なのか？ - GIGAZINE

ディープマインドはDQNを使ったプロダクトをリリースしたわけではなく、ましてやDQNを長期的な収入源にかえるような方法を見つけ出したわけでもありません。また、そういった製品化に向けた動きはGoogleに買収された後に止められたわけでもなく、ディープマインドの公式ページ上にはプロジェクトの目的について「Solve Intelligence(知能を解き明かす)」と端的に書かれているのみ。にもかかわらず、Googleはディープマインドの買収に4億ポンド(約750億円)もの大金を支払っています。

ハサビス氏はディープマインドを「人工汎用知能(AGI)を理解するためのプロジェクト」と説明しており、高度な画像認識システムの開発、あるいはSiriやGoogle Nowのような会話のできる音声認識アシスタントの構築などとは異なり、機械学習と神経科学を用いることで機械が少しでも人間に近い判断を下せるようなシステムを作り出すこと、がプロジェクトの目的だそうです。

「AI開発における目標は、機械を賢くすることです。そして、現存するほとんどのAIが機械をプログラミングする、といったものです。しかし我々の方法はそれらとは少し異なり、AIが自分で学習できるようにプログラムするところにあります。これは通常のAIと比べてはるかに強力です」とハサビス氏。その目標のために、ディープマインドは世界中から優れたコンピューターサイエンティストを集めており、ロンドンのキングス・クロス地区にあるオフィスでは150名以上のスタッフが働いている、とのこと。

By PhOtOnQuAnTiQuE

それではなぜ汎用のAIが必要なのでしょうか。この問いに対してハサビス氏は「私が考えるに、人類は進歩する中でAIアシタントを必要とするようになると思うわけです。気候・経済学・疫病などを処理するにはおそらく複雑な対話型のシステムが必要で、もしも人間だけでこれらのデータを全て分析しようとすれば、それが非常に困難であり、リソース的な問題にぶち当たることは明らかです。そんな時、AIが何かしらの気づきをもたらす手助けになってくれるようになるのではないでしょうか」と自身の見解を述べます。

しかし、汎用人工知能がすぐに完成するというわけではありません。ハサビス氏は現在、人間の脳のように動作する単一のアルゴリズムを開発中だそうで、「我々は現在一般的に言うところの『心』のようなものの開発に挑戦しているわけで、Natureに発表した論文は、そのプロジェクトの初歩部分に過ぎません。特定のタスクに対して適した解決策を導き出すには、長期記憶と作業領域、そして明確なビジョンを持っている必要がです。しかし、我々のシステムは今のところゲームをうまくプレイすることは可能ですが、IBMのディープ・ブルーのような賢さは持ち合わせていません。しかし、ディープ・ブルーのような賢いプログラムでも、あらゆる知識をエンジニアが教えてやる必要があり、そうしなければ例えスーパーコンピューターであろうとただの役立たずになってしまうのです」と述べます。

By Jan Hoffmann

ハサビス氏はディープマインドに関する今後20年のロードマップを構想しており、短い期間でいえば5年以内に日常生活がよりスマートになるようなAIアシスタントの登場を挙げています。既存のスマートフォンに搭載されている音声認識アシスタント機能はかなり制限された範囲でのみ使えるものですが、DQNのような学習能力が備わればその可能性は無限大に広がります。ハサビス氏がイメージしているのは、例えば「引っ越ししたいな。僕には子どもがいるんだけど、どこか良いエリアをOfsted(イギリスの教育評価機関)のレポートから導き出してよ」と言えば、この問いに答えてくれるようなAIアシスタントの登場だそうです。さらに、10年後には「AIが科学者になっている」と予測しており、Natureに掲載される論文のいくつかはAIが著者のものになっているのでは、とハサビス氏。

さらに、ディープマインドがGoogle内でどのような立ち位置にいるのかを共同創立者のひとりであるムスタファ・シュレイマン氏が語っています。彼によると、「私は5つのチームとともに働いており、その5つというのはYouTube・検索・健康・自然言語理解・Google Xに関するチームです」とのこと。これらの分野にディープマインドの技術が応用されようとしているようで、具体的にはYouTubeのオススメ機能をより個々人に適したものにするためのパーソナライズ作業などが行われているそうです。また、ディープマインドはGoogleのメインの収益源である広告収入に関する取り組みなどは求められていないそうで、プレッシャーにさらされることなく「長期的な研究に没頭できている」とシュレイマン氏。

By Thomas van de Weerd

なお、過去にディープマインドに資金提供をしていたこともあるイーロン・マスク氏は「AIの進化速度は指数関数的なもので、信じられないほど速い。この分野の開発した技術により5年以内に深刻な危機が訪れる可能性がある。長く見ても10年以内にはそれが起きると考えている」と語っており、redditに降臨した際にも「AIの進化については心配する必要がある」と述べています。また、スティーヴン・ホーキング博士も「人工知能の進化は人類の終焉を意味する」と発言して人工知能開発に対して警鐘を鳴らしています。