AIに「好奇心」を持たせることでパフォーマンスを改善できる

AIとマウスの比較研究で、マウスは「新しい物体」にいち早く気付く一方、AIはまったく気付かないことがわかりました。研究者はこの課題をきっかけに、AIに「好奇心」を持たせることでパフォーマンスを改善しています。

[2306.15934] Curious Replay for Model-based Adaptation
https://doi.org/10.48550/arXiv.2306.15934

AI Agents that “Self-Reflect” Perform Better in Changing Environments
https://hai.stanford.edu/news/ai-agents-self-reflect-perform-better-changing-environments

スタンフォード大学ウー・ツァイ神経科学研究所のアイザック・カウバー氏と機械学習研究社のクリス・ドイル氏は、教育学部のニック・ハーバー准教授の研究室で動物が周囲の環境を探索して適応することについて長らく研究を行っていた経験から、最先端のAIとマウスを比較する実験を行いました。

内容は、マウスを小さな空の箱に、AIエージェントを空の3D仮想アリーナに、それぞれ入れて、両方の環境に赤いボールを置き、新しい物体を探索するのはどちらが早いかを測定するというもの。

実験の結果、マウスはすぐにボールに近づいて、その後数分間にわたってボールとたわむれましたが、AIはボールに気付きませんでした。

カウバー氏は「予想外でした。最先端のAIでも、パフォーマンスに抜けがあると気付かされました」と述べています。

実験を受けて、カウバー氏とドイル氏は、マウスの単純な行動をひらめきのもととして、AIの改良に利用できないか検討。ハーバー准教授と大学院生のリンチー・チョウ氏を加えた4人で、AIが最近出会った最も斬新で興味深いものについて内省する「好奇心のリプレイ」というトレーニング方法を設計しました。

このトレーニングによって「好奇心をそそられる」ようになったAIは、実験で赤いボールに素早く接近し、関わりを持つようになったとのこと。また、Minecraftベースのゲーム「Crafter」で、パフォーマンスが劇的に向上したとのこと。

詳しい成果は2023年7月25日に第40回機械学習国際会議(ICML2023)の中で発表される予定となっています。