AIによる支援は「問題に取り組む粘り強さ」を低下させて成績を悪化させるという研究結果、どのような使い方であれば悪影響が少ないのか？

AIによる影響を調査した研究で、勉強をAIが支援すると本番のテストでの正答率および回答率が減少することが明らかになりました。

AI Assistance Reduces Persistence
https://ai-project-website.github.io/AI-assistance-reduces-persistence/

研究チームは354人の参加者を対象に、分数の計算問題を行わせる実験を行いました。参加者はランダムに「AI支援あり」「AI支援なし」の2つのグループに分けられ、「AI支援あり」のグループに割り振られた参加者はテスト問題の横でAIを利用する事が可能でした。

実験では合計15問の問題が出題され、だんだん難しくなる12問の問題を解いた後、「テスト」として3問の問題を解く構成でした。いつでも問題をスキップすることが可能だったほか、AIの支援を受けていたグループは「テスト」になると予告なくAIへアクセスできなくなる仕組みでした。

実験の結果を示したのが下図で、上の折れ線グラフが各問題の正答率、下が各問題のスキップ率を示しています。AIの支援を受けたオレンジ色の線で示されるグループは、AIの支援を受けている間の成績は良かったものの、「テスト」に入ると一気に正答率が落ち、問題をスキップする割合が高まっているのがわかります。一方、AIの支援を受けなかった緑色の線で表されるグループはテストとその他の問題で正答率やスキップ率にそれほど差はありませんでした。

研究グループは最初の実験結果を受けて、より精度を高めるために第2の実験を行いました。第2の実験では667人の参加者に対し合計17問の問題を受けさせ、最初の3問で「もともとの能力による差」をなくしたほか、「AI支援なし」のグループにもAIが表示される位置にサイドバーを表示することで、「AI支援あり」グループとUI面での差をなくしたとのこと。

実験2の結果は下図の通り。実験1の時と同様に、「AIによる支援は学習段階でのパフォーマンスを向上させるもののテストの成績を悪化させる」という結果が出ました。

また、研究チームは「参加者がどのようにAIを使用したか」についても調査しました。下図がAIの使用傾向ごとの違いで、水色が比較用の「AI支援なし」グループの成績、黄色が「直接AIに解答を聞いた」グループの成績、茶色が「AIにヒントを求めた」グループの成績、黒色がAIを使わなかったグループの成績です。

研究チームによると、「AI支援あり」グループの61％が直接AIに解答を聞いていたとのこと。直接AIに解答を聞いたグループはテストの成績が最も大きく低下しており、一方でAIを使用していてもヒントや説明を求めるだけであればテストの成績が明白に悪化することはないことが明らかになりました。

研究チームは算数以外の分野でも同じ傾向が見られるかを確認するため、アメリカの大学進学希望者を対象とした共通試験である「SAT」の形式で読解問題を出題する第3の実験を行いました。

第3の実験には201人が参加し、最初の1問が能力差の影響をなくすための事前問題で、2問目から6問目が練習問題、7問目から9問目がテストという形式でした。これまでの実験同様、参加者はランダムにAIの支援を受けるグループと受けないグループに割り振られました。

結果は下図の通り。読解問題であっても、AIを使用していたグループはテストになると成績が急落し、スキップ率が上昇する傾向が明らかになりました。

3つの実験の結果について、研究チームは「AIによる支援を受けると、AIの支援が無くなった際に問題を諦めたり成績が悪化したりする」とまとめ、「AIによる支援は粘り強さを低下させる」と結論付けています。