ある日突然大量のウェブサイトにブロックされてしまった理由とは？

オリジナルのウェブコンテンツをキャッシングし、世界中に配置したキャッシュサーバーからウェブコンテンツを配信することで負荷分散を可能にしているコンテンツデリバリーネットワーク(CDN)は、ビジネスや学術の分野で数多く採用されています。そうしたCDNの一つであるCloudflareにある日突然ブロックされ、ウェブサイトに接続できなくなってしまったとJan Harasymさんが自身のブログで報告しています。

Cloudflare is turning off the internet for me
https://blog.dijit.sh/cloudflare-is-turning-off-the-internet-for-me

ある日Janさんが出社し、自身のノートPCでウェブブラウザを開きページを更新したところ、開いていたほとんどののタブで「申し訳ありません、あなたはブロックされています」と表示されたとのこと。注意書きを読むと、Janさんの行動がウェブサイトへの攻撃と判断され、Cloudflareにブロックされてしまったようです。ウェブサイトの所有者に問い合わせを促されていますが、ウェブサイトにアクセスできないためそれも難しい状況。

JanさんはJavascriptを無効にしていることが原因ではないかと推測しましたが、Javascriptを有効にして数時間経過しても表示は消えませんでした。

そこでJanさんはHackers Newsで解決策を募ることに。

Cloudflare is turning off the internet for me | Hacker News
https://news.ycombinator.com/item?id=22109969

質問に対する回答を待っている間も、Janさんはページにアクセスするため試行錯誤しています。試しに普段は利用していないChromeを使ってアクセスすると、ページが表示されました。普段利用しているブラウザからのアクセスは相変わらずブロックされています。

Hacker Newsに投稿された「ブラウザのユーザーエージェントが原因ではないか」というコメントを見て、以前ユーザーエージェントを書き換えていたのを思い出したJanさんは、普段利用しているブラウザのユーザーエージェントをChromeのデフォルト設定と同じものに書き換えてみることに。するとブロックされることなくページが表示されたそうです。

悪質なボットは作成されてからユーザーエージェントが更新されず古いまま放置されることが多いとのこと。Janさんが自分で設定していたユーザーエージェントは2017年のFirefoxのもので少し古かったため、悪質なボットと判断された可能性が指摘されています。