Googleでは何百万件も検索結果があるように表示されるが実際にはすべてを見ることはできない

Googleでポピュラーな単語を検索すると、検索結果が数百万から数億単位になることがあります。必要な情報はだいたい前半で見つかりますが、いざ情報をどこまでも深掘りしたくても、その「数百万件目」などの検索結果は見ることができません。

Google’s “million’s of search results” are not being served in the later pages search results
https://serpapi.com/blog/googles-millions-of-search-results-are-not-being-served-in-the-later-pages-search-results/

たとえば、Googleで「コーヒー」と検索すると「約3億600万件」の結果がヒットします。

実際にページをどんどん読み込んでいくと27ページ目で終了。結局、表示された検索結果は262件でした。末尾のメッセージにあるように、的確な検索結果を得るために似たページがGoogleによって除外されたためです。そのため、検索結果をすべて表示するために「ここから再検索してください」をクリック。

再度トップに戻ってきました。「コーヒー」の検索結果は「約3億4900万件」に増加しています。

そしてまたページをどんどん読み込んでいき、27ページは越えることができたのですが、今度は47ページで終了。表示件数は469件でした。

ここで、1ページに表示する検索結果の表示数を変更するパラメーター「num」を使用。「コーヒー」という語を検索したときのURL「https://www.google.com/search?q=コーヒー」に表示数を最大にする「&num=100」を追加しました。ヒット数は最初に行ったのと同じ「約3億600件」です。

しかし、表示できた件数は264件と、2件のズレがあります。

元記事はGoogleやBing、DuckDuckGo、Yandex、Baiduなど各種検索APIを取り扱っている「SerpApi」のジャスティン・オハラ氏によるもので、「すべての検索結果がユーザーに返されるわけではありませんが、これらの結果はすべて、SerpApiのGoogle検索APIを使用すると取得できます」とSerpApiをアピールする締めとなっています。

ソーシャルニュースサイトのHacker Newsでは「Google検索の全結果が検索を行ったユーザーに提供されると誤解しているのはブログの著者ぐらいで、結果が20億件の検索結果が得られたとして、実際にそれを取得することが無理なのは明らか」とのコメントがあります。ただし、「著者の書き方は確かに悪いけれど、『20億件の検索結果を取得できないのは明らか』には同意できません。実際に見ることができるからこそ検索結果なのであって、そうでないなら単なるマーケティングか統計です」と反論されています。

なお、GitHubやWikipedia、アメリカ議会図書館のサイトなどでは、後半の検索結果に直接アクセスしようとするとエラーが出てアクセスできないとの報告があります。報告を行ったユーザーは「個人的には、○○件ヒットしましたという結果のうち何件かが提供されるものだと理解していれば問題ないのでは」とコメントしています。

Google’s “million’s of search results” are not being served | Hacker News
https://news.ycombinator.com/item?id=33066399