Googleの自動インデックスが機能していないという指摘

Googleの検索エンジンは、ウェブサイト間のリンクをたどる「クローラー」を用いて、新たなウェブサイトやページを自動的に検出しスキャンしています。このおかげで、新たなウェブサイトを作ったときやブログに新しい記事を書いたとき、わざわざそのことを通知しなくても、時間が経過すればGoogleの検索結果に引っかかるようになりますが、この自動的にインデックスが作られる機能が動かなくなっているのではないかということが指摘されています。

Google No Longer Automatically Indexes Websites - WTF? - Nate Hoffelder
https://natehoffelder.com/blog/google-no-longer-automatically-indexes-websites-wtf/

10年以上にわたりウェブサイトの運営をしていてウェブデザイナーでもあるというネイト・ホッフェルダー氏は数カ月前、クライアントから「開設して4カ月になるウェブサイトがGoogleにインデックスされないのはなぜでしょう？」という質問を受けました。このサイトはBingとDuckDuck Goでの検索結果には出てくるのですが、Googleでのみ検索結果に出てきませんでした。このときは対応のどれかが功を奏して表示されるようになりましたが、原因は不明だったとのこと。

そして先日、同様にウェブサイトを開設して2カ月たつのにGoogleの検索結果に出てこないという悩みを抱えた人をRedditで発見。そしてついには、ホッフェルダー氏自身がボランティアで運営を担当しているウェブサイトもGoogleにインデックスされていないことに気付いたとのこと。このサイトは開設して1年以上が経過しており、Google Search Consoleからサイトマップを送信していました。サイトマップでは9ページが表示されていて、DuckDuck Goでもサイト全体を確認できたのですが、いざGoogleで検索するとトップページしかインデックスされていなかったそうです。

デザイナーになる以前はブロガーで、GoogleのSEOを詳しく調べたことがあるというホッフェルダー氏は、サイトオーナーが「noindex」を設定している場合にGoogleがインデックスしないことはあっても、基本的にGoogleはユーザーの希望とは無関係にサイトのインデックスを行うものだと理解していました。

このため、依頼されない限りウェブサイトがGoogle検索でちゃんと引っかかるか調べなかったことについて、「重力があるかをわざわざ確かめないようなもの」と表現しています。

ホッフェルダー氏によると、この問題はGoogle Search Consleからのサイトマップ送信では解決せず、当面は時間も労力も必要となるものの、URL検査ツールを用いて強制的にインデックスさせるしかないとのこと。

なお、ソーシャルニュースサイト・Hacker Newsでは「インデックスされない」以外にも複数の不具合が解決されていないことが報告されています。

Google no longer automatically indexes websites? | Hacker News
https://news.ycombinator.com/item?id=36195600

userbinator氏は演算子「site:」を用いてサイト内検索をしたときに正常に検索できないことがあると指摘。

burnte氏は、検索フレーズを引用符で囲んだり、検索フレーズの頭に「-」をつけて検索結果から除外したとき、正しく検索されないことがあると指摘しています。

なお、Googleは過去にインデックス登録のエラーによって一部ページが検索結果に出なくなる問題が発生したことがあります。今回発生しているのが同種の問題なのかは不明です。

一部のページがGoogle検索の結果に表示されなくなるバグが発生 - GIGAZINE