AIエージェントは「記憶」が多いほど賢くなるわけではない、IBM Researchが8モデルで検証

AIエージェントに過去の経験を「記憶」として大量に与えても、必ずしも性能が高くなるわけではないことがIBM Researchの実験で示されました。AIモデルによっては、すべての記憶を渡すより必要な情報だけを選んだ方が高い性能を発揮するとのことです。

How Much Memory Does Your Agent Actually Need?
https://huggingface.co/blog/ibm-research/altk-evolve-hmm

AIエージェントは大規模言語モデルに外部ツールを操作する能力などを加え、複数の手順が必要な仕事を進められるようにしたシステムです。ただし過去の成功や失敗をうまく再利用できず、同じ失敗を繰り返す場合があります。

IBM Researchが開発している「ALTK-Evolve」は、過去の作業記録から成功した戦略や失敗から得た教訓をガイドラインとして抽出し、次の仕事で利用する仕組みです。ALTK-Evolveを使うとAIモデルの再トレーニングなしで過去の経験を活用できるといわけです。

研究チームはALTK-Evolveがカレンダーやメッセージなど9種類の架空アプリを操作する「AppWorld」の訓練用タスクから作成したガイドラインを「記憶」として利用し、585件のタスクを8種類のAIモデルに実行させました。実験では「記憶なし」「すべてのガイドラインを渡す」「タスクに応じて必要なガイドラインだけを選ぶ」という3方式を比較しました。

以下は通常タスク168件について、8モデルのうち代表的な5モデルで「記憶なし」と最も成績が良かった記憶方式を比較したグラフです。特にgpt-oss-120bでは、必要なガイドラインだけを選ぶことでタスク完了率が39.9％から56.0％へ上昇しました。トークン消費量の増加も約5％にとどまった一方、すべてのガイドラインを渡す方式ではトークン消費量が約51％増えたにもかかわらず、性能の伸びは必要なガイドラインを選ぶ方式を下回ったとのこと。大量の情報を渡せばよいわけではなく、モデルに合わせて記憶の与え方を調整する必要があるというわけです。

一方でDeepSeek-V3.2やClaude Opus 4.6、GPT-5.5では、すべてのガイドラインを渡した場合に最も高い性能を示しました。適した記憶の与え方はモデルごとに異なり、モデルの規模だけでは決まらないと研究チームは説明しています。

研究チームは今後、文章の意味の近さだけでなく、実際のタスクの成否を基に役立つ記憶を選ぶ仕組みを研究する予定です。また今回の結果はAppWorldを使った実験に基づくため、より幅広い環境でも検証を進めるとのことです。