AI検索エンジン「ChatGPT search」とGoogle検索を62件のクエリで比較してみた結果

OpenAIがChatGPTによる検索エンジンとして「ChatGPT search」をリリースしたことを受け、検索エンジン最適化(SEO)の専門家であるエリック・エンゲ氏が62件のクエリを使用してChatGPT searchとGoogle検索の違いを分析し、結果を公開しました。

ChatGPT search vs. Google: A deep dive analysis of 62 queries
https://searchengineland.com/chatgpt-search-vs-google-analysis-449676


ChatGPT searchはAIがウェブ上の情報を検索して内容をまとめてくれるというもの。実際の使い方については下記の記事で確認できます。

ついにAI検索機能「ChatGPT search」が一般公開される、マップ機能も追加 - GIGAZINE

市場調査を行う企業「SparkToro」の調査によると、人々がGoogle検索を使用する時の「意図」は以下の通り。


・ナビゲーション検索(32.15％)
ナビゲーション検索は、例えばGIGAZINEにアクセスする際に「GIGAZINE」でGoogle検索して検索結果からアクセスする場合のように、訪問したいサイトが決まっているユーザーがウェブサイトのアドレスを入力する代わりにGoogle検索を使用する場合の分類です。

・情報提供(52.65％)
興味のあるトピックに関する情報を探す場合の分類です。

・商業目的(14.51％)
何かの製品の情報を検索したり、複数の製品を比較したりするためにGoogle検索を行うと「商業目的」として分類されます。

・執行(0.69％)
SparkToroは「マーケティングを行う上で価値のある検索」として、ユーザーがすでに何かの購入やサービスへの登録を決意した状態であることを示唆する検索を「執行」と別の分類に切り分けています。

エンゲ氏はSparkToroの調査結果を踏まえた上で、「情報提供」および「商業目的」に分類されるようなクエリに加え「ローカル検索」「コンテンツギャップ分析」「曖昧クエリ」という分類のクエリを合計62個用意。ローカル検索は「最寄りのピザ屋さんはどこ？」のようにユーザーの現在地が関係するクエリで、コンテンツギャップ分析は類似サイトの内容を比較するクエリ、曖昧クエリは「ジョーカーとは何ですか？」のように複数の意味が考えられるクエリです。


エンゲ氏はChatGPT searchとGoogle検索のそれぞれが返した結果に対し、下記の6つの基準で採点を行いました。

1：正確な情報を返したか？
2：重要な情報が欠落せずに含まれていたか？
3：回答に弱い部分は無かったか？
4：ユーザーのクエリの目的は解決されたか？
5：適切なフォローアップ情報を提供したか？
6：回答の全体的な品質はどうだったか？

分類ごとの結果は以下の通り。なお、クエリの中には複数の分類に重複して数えられているものがあるためクエリ数の合計が62個を超えています。