TIME誌が人間とAIクローラーに異なるページを配信、AI向け広告も確認される

ニュース雑誌「TIME」が人間の読者には通常のウェブサイトを表示する一方で、一部のAIクローラーには広告入りの別バージョンを配信していることをソフトウェア開発者のヴィンセント・シュマルバッハ氏が確認しました。AI向けページは文章を処理しやすいMarkdown形式で作られており、人間向けページにはない広告も含まれているとのことです。

TIME Is Serving AI Bots a Different Website, With Ads Built In - Vincent Schmalbach
https://www.vincentschmalbach.com/time-serves-ai-bots-a-different-website/

ChatGPTやClaudeなどのAIサービスはウェブサイトを巡回するAIクローラーを使い、検索結果や回答に必要な情報を収集する場合があります。しかし、通常のウェブページには画像やメニュー、画面表示用のコードなどが多く含まれるため、文章を読み取るAIには効率的とは限りません。

TIMEは一部のAIクローラーに記事本文やリンクを簡潔に記述したMarkdown版を配信しています。シュマルバッハ氏がアクセスに使われたブラウザやクローラーの種類を示す「User-Agent」を変更して調査したところ、通常のブラウザには約303KBのHTMLが返された一方、ClaudeBotやPerplexityBotなどには約13KBのMarkdownが配信されました。

実際のレスポンスヘッダーはこんな感じ。コンテンツの種類を示す「content-type」が「text/markdown」になっています。

AI向けページにはAI広告技術企業のMobianを示す記述や、アクセスごとに異なる広告表示IDも含まれていました。特集ページなどにはスポンサー企業の情報が質問と回答の形式で挿入されており、生成AIが広告主の情報を読み取りやすくする狙いがあるとみられます。

広告部分にはスポンサーコンテンツであることが明記されています。ただし、人間向けページには同じ広告が表示されないため、人間の読者がAI向け広告の内容や表示方法を確認するのは困難です。

TIMEによると、多くの日でAIボットによるアクセス数が人間によるアクセス数を上回っているとのこと。シュマルバッハ氏は、ウェブの主な読者がAIモデルになった場合に何が起きるのかを示す早期の事例だと述べています。