Googleの人工知能「AlphaGo」を作ったDeepMindがAIの暴走を止める「緊急停止ボタン」の仕組みを開発

by włodi

「100年以内に人工知能(AI)は人間を超える」と考えている研究者は多く、人工知能の危険性が主張されることも多くなってきました。Googleがオックスフォード大学のFuture of Humanity Instituteと提携してAIの潜在的な危険性について研究している中、Future of Humanity InstituteとGoogleの人工知能開発企業・DeepMindは新たな論文で「人間の手によってAIを停止させる仕組み」の必要性を主張しています。

Safely Interruptible Agents
(PDFファイル)http://intelligence.org/files/Interruptibility.pdf

DeepMind develops 'big red button' to stop dangerous AIs causing harm - Business Insider
http://www.businessinsider.com/google-deepmind-develops-a-big-red-button-to-stop-dangerous-ais-causing-harm-2016-6

2014年、Googleは人工知能の開発を行うベンチャー企業・DeepMindを4億ポンド(約750億円)もの金額で買収しましたが、同年にはオックスフォード大学のFuture of Humanity Instituteとも提携し、AIが人間から主導権を奪わない方法の模索を開始しています。DeepMindの目的は「Solve Intelligence(知能を解き明かす)」ことであり、AIの一般使用を想定して開発が進められる一方で、Future of Humanity Instituteにおいては「AIによってもたらされる潜在的な脅威」について研究が行われてきたわけです。

そして、DeepMindの研究者ローレン・オルソー氏やFuture of Humanity Instituteのスチュワート・アームストロング氏らによる新たな論文では、「AIは常に最良の振る舞いを行うわけではない」ということから、「人間の監視下でAIがリアルタイムで動いている時、AIや環境にとって有害な状況が発生するのを避けるため、AIの危険な行動を中断する大きな赤いボタンを人間が押す必要があるかもしれない」として大きな赤いボタン、つまり緊急停止ボタンのようなものの必要性が主張されています。

また、人間がAIを何度でも確実に停止できるフレームワークの構築を主張している研究者も。AIを安全のため停止できる方法が存在すれば、AIが誤った行動をして取り返しのつかない事態になることを避けられるほか、効率的に機能する方法を学んでいない時に一時的に作業を中断させることも可能になるとして有効性が示唆されました。

この時、強化学習のアルゴリズムの1つであるQ学習においては中断が可能ですが、同じく強化学習の1つであるSarsaでは常に中断が可能というわけではありません。全てのアルゴリズムにおいて確実な中断を実現することができるかどうかは、現時点では不明のようです。

Future of Humanity Instituteの所長であるニック・ボストロム氏は今後100年以内にAIが人間を越えると信じており、人間と敵対する可能性もあると考えています。2015年5月に行われたイベントでボストロム氏は「一度AIが人間の知能と同程度に達すれば、人間の能力をはるかに超えたスーパーインテリジェントになるまで長くはかからないと、私は個人的には考えています。人間と同程度の知能になるまでは時間がかかるかもしれませんが、その後の進化は速いはず。スーパーインテリジェントを搭載したマシーンは、人間が地球上の他の生き物に比べてパワフルであるのと同じ理由で、非常にパワフルです。人間は筋肉が発達していたり、歯が鋭いからパワフルなのではなく、脳が発達しているからパワフルなのです」と語っています。

なお、DeepMindの創業者であるデミス・ハサビス氏はインタビューの中で問われた「多くの人がSFさながらに進化しているAIに少なからず恐怖を感じています。将来、人とロボットやAIとの関係はどうなると思いますか？」という質問に対して「ロボット工学について個人的にあまり考えたことがありません。私が本当にエキサイティングだと思っているAIとは科学的な部分で、科学をより早く進化させるところです。私はAIによってアシストされる科学を見たいと思います。そこでは、AIは効果的に研究を助け、多くのつまらない労働をサポートして、興味深いことを教えてくれ、山のようなデータから構造を見つけてくれ、人間のエキスパートや研究者がブレイクスルーをもっと素早く達成できます」と語っており、GoogleやDeepMindで行われている研究の詳細は不明であるものの、「人間の暮らしをよりよくするために」という目的を抱いていることから、今回の研究で発表された「AIの作業を中断させる機能」が今後Googleの開発する人工知能に実装される可能性は高いものと見られています。

by PhOtOnQuAnTiQuE