「エネルギー関数」を用いてコンピューターに概念を機械学習させる

機械学習の効率を高めるため、エネルギー関数を用いて2次元上に存在する点に関する「近い」「上側」「間」「最も近い」「最も遠い」といった概念のインスタンスの識別・生成を行える学習モデル「Energy-Based Model」の研究結果が発表されました。このモデルを使うと、わずか5回のデモンストレーションを行うだけで機械学習が行われ、その成果は2次元だけでなく3次元にも応用が可能であるとされています。

[1811.02486] Concept Learning with Energy-Based Models
https://arxiv.org/abs/1811.02486

Learning Concepts with Energy Functions
https://blog.openai.com/learning-concepts-with-energy-functions/

限られた経験から一般型を見いだす能力や抽象的推論と計画、類推的推論、創造的問題解決、言語能力など、人間が持つ秀でた能力は「経験を概念に統合する」という機能が不可欠です。GoogleのOpenAIの研究員であるIgor Mordatch氏は、エージェントが与えられたタスクから学んで概念を抽出し、異なるドメインにおいてもその概念を利用することができる技術を開発しました。

その一例として挙げられているのが、以下のようなロボットにおける応用。2次元空間に展開されるインスタンスを学習し、そこから得られた概念を3次元空間に応用することが可能であるとしています。(クリックすると動画が再生)

その基となっているのが、「エネルギー関数」であるとのこと。この作業では、エネルギー関数を使用して、エージェントが単純な概念を分類して生成することを学び、異なる環境の2つのポイント間をナビゲートするなどのタスクを解決することが可能。概念の例としては、「ビジュアル」(「赤」「四角」)、「空間」(「内側」「上」)、「時間」(「ゆっくり」「～より後」)、「社会性」(「攻撃的」「有益」)などで、いったん学習されたこれらの概念は、エージェントの理解と推論を行う際の基本となる「ブロック」として機能するとのこと。

デモンストレーションとして与えられた2次元上の点(左)から、点の配置からエネルギー関数が推定され(中)、確率的勾配降下法を使ってエネルギーを基に新たな点が生成される様子(右)。


この技術を用いてコンピューターシステムが学習を行うことで、空間的関係の特定のセットを分類して生成すること、あるいは特定の方法でシーンを通してエンティティをナビゲートすること、または「1つ、2つ、3つ、3つ以上」といった量などの概念の判定を行えるようになったとのこと。(クリックすると動画が再生)

今後の展望についてMordatch氏は、より豊かな3次元環境で学んだ幅広い概念を活用することで、エージェントの意思決定方針と概念の統合を視野に入れているとのこと。さらにその後、「概念」と「言語理解」の間に存在する関係性に関する研究に繋げたいと述べています。