AIを使う人は自分のパフォーマンスを過大評価する傾向があるとの研究結果、AIリテラシーが高い人ほど過信しがち

現代では誰もが簡単にチャットAIや検索エンジンのAIツールを利用し、さまざまな疑問の答えを得られるようになりましたが、AIの回答が間違っていることも多い点に注意が必要です。しかし、中にはAIの回答をうのみにしてしまい、SNSなどで専門家を相手にとんちんかんなことを言ってしまう人もいます。新たな研究では、AIを使う人は自分自身のパフォーマンスを過大評価しがちであり、特にAIリテラシーが高い人ほどその傾向が顕著だということが示されました。

AI makes you smarter but none the wiser: The disconnect between performance and metacognition - ScienceDirect
https://www.sciencedirect.com/science/article/pii/S0747563225002262

AI use makes us overestimate our cognitive performance | EurekAlert!
https://www.eurekalert.org/news-releases/1103616

The more that people use AI, the more likely they are to overestimate their own abilities | Live Science
https://www.livescience.com/technology/artificial-intelligence/the-more-that-people-use-ai-the-more-likely-they-are-to-overestimate-their-own-abilities

自分自身の能力を正確に評価することは重要ですが、人間は一般的に自分を「平均より上」だと評価しがちです。特定の分野において高い能力を持つ人ほど自分を過小評価し、能力が低い人ほど自分を過大評価するダニング＝クルーガー効果もよく知られています。

AIツールの使用が一般的になってきた現代では、AIを使った際のパフォーマンスを適切に評価することが、人間とAIのやり取りを最適化する上で重要です。そこでフィンランドのアールト大学の研究チームは、約500人の被験者を対象に、アメリカのロースクール入学試験(LSAT)の論理的推論課題を解かせる実験を行いました。

被験者の半数はOpenAIのチャットAIである「ChatGPT」を使用し、残りの半数はAIを使わずに問題を解きました。その後、両グループはAIリテラシーおよび自分のパフォーマンスについて質問されました。この際、パフォーマンスを正確に評価できていた場合には追加報酬が約束されており、被験者には自分のパフォーマンスを正確に評価するインセンティブがあったとのこと。

論文の共著者であるアールト大学のロビン・ウェルシュ助教は、「こうしたタスクには多大な認知的努力が必要です。人々がAIを日常的に使うようになった今、このような課題をAIに解決させるのはよくあることです。なぜなら、非常に難しいからです」と述べています。

実験データを分析した結果、AIユーザーは一般的に1つの問題について2回以上質問することはほとんどなく、1つの質問や指示だけで満足していたことがわかりました。多くの場合、AIユーザーは質問をコピーしてそのままChatGPTの入力欄に貼り付け、得られた回答をそれ以上精査したり問い直したりすることなく、そのまま受け入れていたとのこと。

ウェルシュ氏は、「人々は単にAIが問題を解決してくれると信じていたことが判明しました。通常、結果を得るためのやり取りはたった一度だけであり、これはユーザーがシステムを盲目的に信頼していることを意味しています。これは『認知的オフロード』と呼ばれる現象で、すべての処理をAIに委ねている状態です」と指摘しています。

また、ChatGPTを使った被験者らは自分のパフォーマンスを正確に評価する能力が著しく低く、能力を過大評価しがちであることも明らかになりました。特徴的だったのは、自分の能力を過大評価しがちな傾向はAIリテラシーの高いユーザーで顕著だったという点です。

ウェルシュ氏は、「AIに関してはダニング＝クルーガー効果は消え去ることを発見しました。実際には、驚くべきことにAIリテラシーが高いほど過大評価が増したのです。AIリテラシーの高い人は、AIシステムとのやり取りが優れているだけでなく、それらのシステムにおける自分のパフォーマンスを判断する能力も優れていると予想されますが、実際にはそうではありませんでした」と述べました。

AIにタスクをすべて委ねる認知的オフロードが増加すると、結果や答えについて多角的に検討する批判的思考(クリティカル・シンキング)の能力が損なわれます。その結果、自分のパフォーマンスを正しく評価する能力が低下し、信頼できる情報を入手するのが難しくなったり、労働者のスキルが衰えたりするリスクが生じるとのこと。

アールト大学の大学院生であり、論文の筆頭著者を務めるダニエラ・フェルナンデス氏は、「現在のAIツールは不十分です。メタ認知(自身の思考プロセスへの気づき)を育むことができず、自分の間違いから学ぶこともできません。私たちは内省のプロセスを促すプラットフォームを構築する必要があります」と主張しました。