Googleの検索ボットに偽装すると有料サイトが無料で閲覧できるらしい
Googleの検索データベースを作成するためにネット中のあらゆるページを収集して巡回している「GoogleBot」というものがあります。このGoogleBotが来ると検索結果に反映されるというわけ。
で、ネット上にいろいろと存在している有料サイトは客を確実に呼び込むため、検索結果に自分のサイトの中身をちょっとだけ表示させるために、なんとGoogleBotは無料で有料サイト内を巡回できるようにしているらしい。
ということは、GoogleBotにブラウザを偽装すればいけるのではないか?というのがこのアイディアなのですが、真相のほどはいかに?詳細は以下の通り。
※以下からは自己責任でお願いします
Disguise Yourself As Google Bot - Quicksilverscreen Forum!
実際に試したわけではないので真偽は不明ですが、要するにブラウザの吐き出す変数の一つである「User Agent」、要するにブラウザ名を「Googlebot/2.1」に変更すれば、有料サイトでも無料で閲覧できるよ……ということらしい。
Firefoxの場合は以下の拡張機能をインストールするとUser Agentの切り替えが可能になります。
User Agent Switcher :: Firefox Add-ons
また、以下のサイトを経由することでGoogleBotのフリを簡単にすることができます。
BeTheBot
http://www.avivadirectory.com/bethebot/
・関連記事
インド、ロボット軍隊の開発計画発表 - GIGAZINE
初代Googleのアルゴリズム解説 - GIGAZINE
Googleで効率よく新鮮な匿名プロキシを探す方法 - GIGAZINE
Googleにサイトを全消去されたかわいそうなサイト - GIGAZINE
「Google Webmaster Central」でGooglebotのテストができる - GIGAZINE
Googleにもアクセス拒否され、スパム送信源と化した「libwww-perl」とは? - GIGAZINE
検索エンジンボットシミュレータ - GIGAZINE
コメントスパム対策として、ニセのコメントフォームを設置する - GIGAZINE
1秒で10万行を処理するフリーの超高速なログ解析ソフト「Visitors」 - GIGAZINE
・関連コンテンツ