Metaの言語モデル「Toolformer」は検索エンジン・電卓・カレンダーなどをAPIで呼び出し使用する

ChatGTPは自然言語処理において大きな変革をもたらしたといっていい存在ですが、一方で、ファクトチェックや数学といった基本的なタスクで問題が出ることがあります。Metaの大規模言語モデル「Toolformer」は、言語モデル部分を犠牲にすることなく、外部ツールをAPI経由で利用する方法を学習しており、検索エンジンや電卓、カレンダーなどを使用することができます。

[2302.04761] Toolformer: Language Models Can Teach Themselves to Use Tools
https://doi.org/10.48550/arXiv.2302.04761

Meta develops an AI language bot that can use external software tools | Ars Technica
https://arstechnica.com/information-technology/2023/02/meta-develops-an-ai-language-bot-that-can-use-external-software-tools/

ToolformerはどのAPIを呼び出すか、いつ呼び出すか、どの引数を渡すか、そして結果を将来のトークン予測に最適に組み込む方法を決定するようにトレーニングされたモデルだとのこと。

トレーニングにおいて、研究者は各APIがどのように使用されるのかを示す、人間が作成した小規模なサンプルセットを提供し、潜在的なAPI呼び出しで大規模言語モデルのデータセットに注釈をつけることを許可。人間の明示的な指導がなくても学習できるようにした結果、Toolformerは、テキストベースのAPI呼び出しを、他の形式のテキストであるかのように予測することを学習したとのこと。

これまで、大規模言語モデルは数学があまり得意ではありませんでしたが、ToolformerはAPIで電卓を呼び出すことでこの問題を回避できます。

なお、ニュースサイトのArs Technicaは、大規模言語モデルがAPIを呼び出せるようになったことで、アプリ内のユーザーデータに損害を与えたり、ブラウザなどを介して外部で問題を引き起こしたりする可能性があると指摘しています。