オープンソースの検索エンジンで利用者の99.9%以上がスパムボットだったという報告

主要な検索エンジンがSEOスパムに席巻された中で、個人サイトや独立したウェブサイトを検索するためのオープンソースの検索エンジンが「searchmysite.net」です。searchmysite.netの公式ブログが、searchmysite.netのユーザーのうち、検索エンジン最適化(SEO)スパムのボットが100％を占めたと報告しています。

Almost all searches on my independent search engine are now from SEO spam bots
https://blog.searchmysite.net/posts/almost-all-searches-on-my-independent-search-engine-are-now-from-seo-spam-bots/

searchmysite.netは2020年頃に立ち上げられた検索エンジンです。主な検索エンジンでは、SEOスパムによって個人のサイトが検索上位から押し出されてしまい、たどり着くのが非常に困難な状況となっています。そこで、コミュニティ主導のキュレーションとモデレーションを導入したり、SEOスパムのインセンティブを減らすために広告を含むページの検索ランクを大きくダウンさせたりと、searchmysite.netはさまざまな方法を取り入れていたそうです。

しかし、問題となるのがスパムボットです。これは検索エンジンから特定のサイトへアクセスさせて検索ランキングを上げさせるためのスパムボットで、プログラムされた通りに検索エンジンにアクセスします。

2022年5月1日から5月11日までの11日間における、searchmysite.netのユーザー数をまとめたものが以下。「Real Users」が人間のユーザー数、「Spam bots」がスパムボットのユーザー数、「%age spam」がスパムボットのユーザー率。すでにスパムボット率が99.9％を超えており、5月11日はついに100％となっています。

searchmysite.netによると、ユーザー数が2022年4月中旬から劇的に増加したとのこと。searchmysite.netではオリジナルのアナリティクスシステムを導入していますが、この方法では人間ユーザーしか表示されず、異常なアクティビティはサーバーログを確認しなければ認識できなかったとのこと。

searchmysite.netによれば、そもそも数少ない人間ユーザーのほとんどは、ソーシャルニュースサイトのHacker Newsなどのリンクからsearchmysite.netを訪れており、他の検索エンジンからのトラフィックはほとんどないそうです。つまり突然増加したユーザーはボットである可能性が高いといえます。

そこでサーバーログを見ると、IPアドレスとユーザーエージェント、検索クエリが全部異なっていたそうで、最初は別の検索エンジンが結果をスクレイピングしているか、あるいはDDoS攻撃を受けているのではないかと考えたそうです。しかし、さらに詳しく調べると、ほとんどの検索クエリが一定パターンに沿っていたことが判明し、ブラックハットSEO用のスパムボットの仕業であることがわかりました。

searchmysite.netは「陰謀論に賛同しているわけではありませんが、『死のインターネット』理論にはいくつかの真実があると考えざるを得ません。『死のインターネット』理論とはインターネットは今や空虚で、現実の人間がいないという考えであり、ボットがボットと会話してコンテンツとクリックを生成し、重要なものはすべてボットによって共有され、成長し続ける広告収入のシェアをボットが獲得しているという考えです。しかし、現実はまだそこまで達していないでしょう。他の人が自分の存在を知っていようといまいと、インターネット上で素晴らしいことをしている現実の人々がまだいることは知っています。しかし、こういった人たちを繋げようとする私のプロジェクトが、意図しない否定的な結果を招いたのではないかと心から心配しています」とコメントしました。