AIで情報検索すると従来のウェブ検索に比べて身につく知識が減る可能性がある

2022年後半にChatGPTが登場してからチャットAIは急速に普及し、Googleの「AIモード」や「AIによる要約」が登場したこともあって、多くの人々がAIで仕事や生活に関する情報収集を行っています。AIは多様な情報をコンパクトにまとめてくれるため非常に便利ですが、この便利さには代償が伴うことが実験で示されました。

Experimental evidence of the effects of large language models versus web search on depth of learning | PNAS Nexus | Oxford Academic
https://academic.oup.com/pnasnexus/article/4/10/pgaf316/8303888

Learning with AI falls short compared to old-fashioned web search
https://theconversation.com/learning-with-ai-falls-short-compared-to-old-fashioned-web-search-269760

従来のウェブ検索で必要な情報を探すには、まず「ヒットしやすそうな検索フレーズ」を考え、検索結果一覧のタイトルや概要をもとに「欲しい情報が記載されていそうなページ」を選び、ページを上から下まで読んで情報を見つける必要がありました。この一連のプロセスの中で目的の情報に関する全体像を把握したり、副次的な情報や深掘りにつながる手がかりを獲得したりできました。

これに対しAIを使った検索では、自然言語で質問するだけで目的の情報を一瞬でまとめて出してくれるため、さまざまなウェブサイトを開いたり内容をチェックしたりする必要がありません。そのため、時間に追われている時は非常に便利ですが、一部の人々は「知りたい情報をすぐに出してくるAIに頼っていると浅い知識しか獲得できない」と主張しています。

この主張について検証するため、アメリカのペンシルベニア大学でマーケディング学准教授を務めるシリ・メルマッド氏らは、合計1万人以上の被験者を対象にさまざまな実験を行いました。

実験では被験者に対し、「野菜の育て方」といったトピックについて調べるよう求めました。被験者は調べ物をする際、「昔ながらのウェブ検索」または「ChatGPTのようなAIに聞く」のいずれかにランダムで割り当てられました。ツールの使用方法に制限は設けられず、被験者は好きなだけGoogleで検索したり、チャットAIに質問を繰り返したりできました。

学習を終えた後、被験者らは学んだトピックについて「友人へのアドバイス」を書くように求められました。研究チームはこのアドバイスの内容を分析して、被験者らがトピックについてどれほど深く学習したのかを評価したとのこと。

実験の結果、一貫してAIでトピックについて調べた人はウェブ検索を使用した人よりも学んだ内容が少なく、その後のアドバイス作成に費やす労力も小さいことが判明。また、最終的に書いたアドバイスは短く、事実に基づいておらず、一般的な内容にとどまっていました。

さらに研究チームは、実験内容を知らない読者に被験者が作成したアドバイスを見せて、どのように感じたのかを評価してもらいました。すると、読者はそれぞれのアドバイスがどのように作成されたのか知らないにもかかわらず、AIを使った被験者が作成したアドバイスを「情報量が少なくて役に立たない」と感じることもわかりました。

これらの結果は、研究チームが条件を変えても再現されました。たとえば「模擬的なGoogle検索結果」と「模擬的なChatGPTインターフェース」を使用し、それぞれの結果に表示される情報量が同じになるように調整した場合でも、自分でリンクを開く必要がある「模擬的なGoogle検索結果」を使った被験者の方がより深く学習できたことが報告されています。また、「標準的なGoogle検索」と「Google検索に統合されたAI概要」で比較した場合も結果は同じでした。

さらに、AIを使う被験者にAIの要約と同時にウェブサイトへのリンクを送る実験では、AIの要約を受け取った被験者はさらに情報源を深掘りする意欲を失うことが判明。結果的に、標準的なGoogle検索を使用した被験者よりも浅い知識しか獲得できませんでした。

メルマッド氏は今回の結果について、「スキル開発の基本的な原則のひとつは、『人々が教材に積極的に取り組んでいる時に最も効果的に学習できる』ということです。Google検索を通じてあるトピックについて学ぶ場合、私たちは多くの摩擦に直面します。さまざまなウェブサイトへのリンクを乗りこなし、情報源を読み、それらを自分で解釈し、統合する必要があります。この摩擦は困難ではあるものの、対象となるトピックについてより深く、より独創的な精神的表現を育むことにつながります。しかし大規模言語モデルでは、このプロセス全体がユーザーに代わって行われるため、学習は能動的なプロセスから受動的なプロセスへと変化します」と述べました。

なお、メルマッド氏はAIがスピードなどの面で有益であることも認めており、一概にAIの使用を避けるべきだとは考えていません。むしろAIがどのような場面で有益なのかを理解し、AIをより賢く戦略的に使うことが必要だと主張しています。

メルマッド氏は、「これを踏まえて今後の研究では、学習課題に健全な摩擦をもたらす生成AIツールを研究する予定です。具体的には、どのようなタイプの保護策や段差が簡単な合成回答を超え、ユーザーが積極的に学びを深めるよう動機づけられるかを検証します」と述べました。