ニューラルネットワークが持つ欠陥「破滅的忘却」を回避するアルゴリズムをDeepMindが開発

ゲームプレイを学習しながらスキルを向上させる「DQN」やプロの囲碁棋士を打ち破る「AlphaGo」などの開発で知られるGoogleのAI開発部門のDeepMindが、従来のニューラルネットワークが抱える欠点を解消するために、データを記憶することで連続的に学習できるアルゴリズム「Elastic Weight Consolidation」を開発しました。

Overcoming catastrophic forgetting in neural networks
http://www.pnas.org/content/early/2017/03/13/1611835114.abstract

Enabling Continual Learning in Neural Networks | DeepMind
https://deepmind.com/blog/enabling-continual-learning-in-neural-networks/

ディープラーニングは言語の翻訳、画像分類、画像生成などさまざまなタスクを処理するための最も成功した機械学習技術として知られています。しかし、ディープニューラルネットワークでは、大量のデータが一度に入力される場合にのみタスクを処理できるように設計されており、ネットワークが特定のタスクを処理するときに、各種パラメーターは、そのタスクのために最適化されます。このため、新しいタスクが導入されると、ニューラルネットワークがそれまでに獲得した知識は上書きされるという特徴があり、これは「catastrophic forgetting(破滅的忘却、致命的な忘却)」と呼ばれ、ニューラルネットワークの限界の一つと考えられています。

ニューラルネットワークの構造上の限界に対して、人間の脳は段階的に学び、スキルを一つずつ身につけ、新しい課題の解決のためにそれまでの知識を応用することができるという特長があります。このような「過去のスキルを記憶して新しい課題の解決に応用できる」という人間やほ乳類が持つ学習の特長からインスピレーションを得たDeepMindは、課題解決を記憶して後の課題解決に応用できるニューラルネットワークのアルゴリズム「Elastic Weight Consolidation(EWC)」を開発しました。

EWCでは、タスクを解決するたびに、そのデータがどれくらい重要なのかをスコア化します。そして、その重要度を示すスコアに比例して記憶が上書きから保護される仕組みが採用されています。つまり、重要でないデータはこれまでのニューラルネットワークと同じように上書きすることで消去されますが、重要なタスクではデータが保護されるため、以前、学習した内容を上書きしたり、大きな計算コストをあらためて割くことなく、新しいタスクを学習できるとのこと。

DeepMindはEWCの有効性をテストするために、Atariのゲームを使って実験しています。個々のゲームをスコアだけから学習することはそれ自体が難しい作業ですが、複数のゲームを連続して学習することは、各ゲームごとに個別の戦略が求められるため、さらに難度は上がります。EWCを使わない通常のニューラルネットワークでは、青色のグラフのように、一つのゲームが終わると致命的な忘却によってデータが上書きされスコアが上昇しないのに対して、EWCを有効化すると、簡単に忘れることなく、次々とゲームが変わる中でも学習することができたとDeepMindは述べています。

現在のコンピューターはデータに応じた対応ができずリアルタイムで学習することはできませんが、DeepMindによると今回の研究によって、ニューラルネットワークにおける致命的な忘却は回避できることが示されたとのこと。この研究は、より柔軟に効率的に学習できるプログラム開発への第一歩を踏み出したことを象徴するものだとDeepMindは述べています。