「GPT-3」などの最新言語モデルが自然に他者の心を推察する能力である「心の理論」を獲得していたという研究論文

あまりに高精度なテキストを生成できるということで話題になった「GPT-3」のような最新の言語モデルは、言語処理能力を向上させる過程で自然に他者の心を推察する能力を獲得していたとする研究論文が発表されました。

[2302.02083] Theory of Mind May Have Spontaneously Emerged in Large Language Models
https://arxiv.org/abs/2302.02083

Theory of Mind May Have Spontaneously Emerged in Large Language Models
(PDFファイル)https://arxiv.org/ftp/arxiv/papers/2302/2302.02083.pdf

ヒトが他者の心の状態、目的、意図、知識、信念、志向、疑念などを推測する心の機能を「心の理論」と呼び、これは人間社会における相互作用やコミュニケーション、共感、自意識、道徳などの中心をなすものとされています。

「心の理論」は人生の早い段階で発達し、非常に重要なものであると考えられています。そのため、「心の理論」が正常に機能していない人は、自閉症や双極性障害、統合失調症、精神病などの精神疾患を患っているものと判断されるケースが多くあるそうです。人間に最も近い高度な知性を持つとされる類人猿でさえ、「心の理論」のテストを行った場合、ヒトと比べてスコアが大きく劣る模様。

過去にもRoBERTaや初期のGPT-3、カスタム学習させた質疑応答モデルに「心の理論」テストを解かせた研究が存在しましたが、これらの研究において言語モデルは簡単な「心の理論」テストを解くのにすら苦労していました。そのため、「AIに『心の理論』を持たせることは現代における大きな課題のひとつである」とする論文まで存在します。

しかし、スタンフォード大学経営大学院のミハル・コジンスキー氏は、「心の理論」のような能力をAIに明示的に組み込む必要はないと考えており、むしろ、言語処理能力を向上させる過程で自然に「心の理論」を獲得する可能性すらあると考えていたそうです。

コジンスキー氏は特に「心の理論」を自然に発現させている可能性がある候補として、大規模な言語モデルを挙げており、その理由を「人間の言語には精神状態の描写や異なる信念や思考、欲求を持つ人物が多数登場するから」と説明しました。

コジンスキー氏は人間の「心の理論」能力を測定するテストで広く用いられている2つの古典的な誤信念課題を使い、例題の提示や事前学習を一切行わずにいくつかの言語モデルにテストを受けさせるという実験を実施しました。

実験の結果、2022年以前に発表された言語モデルでは「心の理論」テストを解く能力が皆無であったことが判明します。しかし、2022年1月版の「GPT-3」はテストで7歳児と同程度のスコアを出し、正答率は70％程度を記録しました。さらに、2022年11月版の「GPT-3」は正答率93％で9歳児と同等のスコアを記録しており、凄まじい勢いで「心の理論」テストのスコアを伸ばしていることが明らかになっています。

コジンスキー氏は実験の結果について、「これまで人間しか持ち合わせていないと考えられていた『心の理論』を、言語モデルが言語処理能力を向上させる過程で副産物として獲得した可能性を示唆しています」と言及しています。

なお、コジンスキー氏が実験で使用したコードとタスクは以下のページから誰でも入手可能です。

OSF | Theory of Mind May Have Spontaneously Emerged in Large Language Models
https://osf.io/csdhb/