Googlebotの各種統計情報「クロール統計レポート」が改善される、より詳細な情報が取得可能に

Googleがウェブサイトの各種統計情報を収集するために運用しているクローラ「Googlebot」のより良い理解のため、「クロール統計レポート」を改善したと発表しました。

New and improved crawl stats for your site | Google 検索セントラル ブログ
https://developers.google.com/search/blog/2020/11/search-console-crawl-stats-report

Googleは数え切れないほど存在している世界のウェブサイトを把握するため、ウェブ上の文書や画像を機械的に取得してデータベース化するクローラ「Googlebot」を運用しています。Googlebotはユーザーがウェブ上のコンテンツを閲覧するのと同様に、ウェブページを見て、ページ上のリンクをたどり、ウェブページに関するデータを日夜Googleのデータベースに蓄積し続けています。

Google 検索の仕組み | クロールとインデックス登録
https://www.google.com/intl/ja/search/howsearchworks/crawling-indexing/

自分のサイトを運営している場合、「クロール統計レポート」からGooglebotが得た統計情報を知ることがこれまでも可能でした。2020年11月24日に発表された内容はこのクロール統計レポートを改善するというもので、今後はレスポンスコードによってグループ化されたリクエストの総数やクロールされたファイルのタイプ、クロールの目的、Googlebotの種類に加え、ホストステータスの詳細情報やサイト内でリクエストが発生したURLの例もクロール統計レポートから参照できるようになる上に、複数のサブドメインをひとまとめにできるドメインプロパティなどもサポートするとのこと。

こうした改善の中でも、特筆されている項目が以下。「Over-time charts」では、リクエストの総数やダウンロードの平均サイズ、平均応答時間の遷移を見ることが可能。

「Grouped crawl data」は、取得されたURLのタイプやファイルの種類などの統計データを閲覧できる新機能です。

「High level ＆ detailed information on host status issues」では、過去90日間における障害のログを確認可能。

複数のホストをひとまとめしたドメインプロパティの場合は、ホストごとのステータスもチェックできます。