ウェブサイトへのアクセスの99％超がボットに、人間1回に対して214回もページを読み込むAIスクレイパーとの攻防

寄付者情報データベース「PatronView」を運営するニック・グレイ氏が、ウェブサイトに押し寄せるAIクローラーやスクレイパーと約1年間にわたって続けてきた攻防を公開しました。サーバーが配信したページ数とアクセス解析の数字を比べると、「人間が1回ページ読み込んだ」と記録される間に、AIによるページ読み込みがおよそ214回発生していたとのことです。

99% of My Website Traffic Is Bots | PatronView
https://patronview.com/news/99-percent-of-my-website-traffic-is-bots/

PatronViewは公開資料を基に約150万件の個人プロフィールを掲載しています。大量の公開情報を扱うため検索エンジンや各種クローラーからアクセスされやすく、グレイ氏はSEOクローラーやボットによる大量アクセスへの対策を続けてきました。

ある1週間でPatronViewのサーバーが配信したフルページは約128万件でした。一方でJavaScriptを利用するアクセス解析ソフト「Plausible Community Edition」に記録されたページビューは5977件。単純計算では約214対1となり、グレイ氏は「アクセスの99％がボット」という表現でも実態より控えめだと説明しています。

約214対1という比率を視覚化したのが以下の図で、青いマス1個が人間として計測されたページ読み込みに相当します。残りの灰色は全てボットによるアクセスというわけです。

大量アクセスが特に目立ったのは2026年4月22日です。1日で約362万件のリクエストが発生し、アクセス元は約36万1000個のIPアドレスに分散していました。大半が中国からだったため、グレイ氏は翌23日に中国からのアクセスを遮断。その直後からリクエスト数は大幅に減少しました。

AIクローラーではAnthropicの「Claude-SearchBot」が1週間で約42万ページを取得した一方、Claudeがユーザーの依頼に応じてウェブサイトへアクセスする「Claude-User」によるアクセスは12件でした。グレイ氏は両者を比較し、訪問者1人につき約3万5000ページを取得した計算だと述べています。Amazonの「Amzn-SearchBot」も大量にアクセスしていましたが、PatronViewへの訪問者は確認できなかったとのこと。一方でGooglebotは訪問者1人につき46ページ、Bingbotは406ページでした。

各クローラーの取得ページ数と利用者由来のアクセス数の比率をグレイ氏が比較すると、AI検索クローラーと従来の検索エンジンで大きな差が出ています。

グレイ氏はCloudflareのWeb Application Firewallを使い、利用者の流入につながらないと判断したAIクローラーを遮断したほか、不審なアクセスにはCloudflareの「Managed Challenge」による認証を要求し、短時間に大量のページを取得するアクセスには回数制限を設定しました。GooglebotやBingbotなど利用者を送り込む検索クローラーは許可し、「何ページ取得したか」と「何人の訪問者を送り返したか」を判断材料にしているとのこと。

ただし、開発者のKaka Ruto氏がPatronViewへのアクセスを試したところ、独自のウェブ取得ツールではアクセスを拒否されたものの、AIエージェントがChromeブラウザを操作する「Chrome DevTools MCP」に切り替えるとページを取得できたと報告しているように、完全な遮断は難しい模様。

グレイ氏はスクレイピングのコストが下がり続ける中で、将来的にはクローラー側がページ取得の対価を支払う「Pay Per Crawl」のような仕組みが必要になる可能性があると述べています。Pay Per Crawlのような市場が成立するまでは「訪問者を1人も送ってこないクローラーはブロックする」という方針で運営を続けるとのことです。