人間とAIの「思考」に大きな違いがあることが研究で判明、AIは推論が苦手な可能性

実験の結果、これらの問題に対して人間はすぐに正しい答えをを提示できました。一方、AIは「『a b c d』が『a b c e』となるとき、『i j k l』はどうなる？」のような問題は正解できましたが、「『a b b c d』が『a b c d』となるとき、『i j k k l』はどうなる？」のような比較的複雑な問題は間違えがちであることが明らかになりました。

他にも、研究チームはGPT-3やGPT-3.5、GPT-4に対して提示されたアルファベットを並べ替えるアナグラムの問題を提示したり、「以下の表の『？』を埋めよ」といった問題を出したりしています。

2 2 2
5 5 5
6 6 ?

これらの問題でも大規模言語モデルは人間と比較して間違えやすいことが報告されています。ルイス氏は「AIはパターンを特定して一致させるのは得意ですが、それらのパターンを使って一般化することはあまり得意ではないようです」と指摘しました。

ほとんどのAIは数多くのデータセットを使って学習しており、学習に使ったトレーニングデータが多ければ多いほど、より多くのパターンが特定されます。しかしルイス氏は「データに何が含まれているかよりも、データがどのように使用されるかが重要です」と述べています。また、海外メディアのLiveScienceは「AIは研究や判例法分析、量刑の推定などの分野で広く使われるようになってきていますが、類推する能力が低いと、判例がわずかに異なるケースに対応できない可能性があります」と語りました。

今回の研究を通して研究チームは「AIモデルには、トレーニング中に存在しなかったデータのサンプルを観察し、質問に従ってその答えを予測する『ゼロショット』学習能力がない」と結論付けています。