RedditがGoogle以外の検索エンジンによるコンテンツの取得をブロックしているという指摘

ソーシャル掲示板サイトとして知られるRedditが、BingやDuckDuckGoなどの検索エンジンによるコンテンツのクロールをブロックしていることを、ニュースサイトの404mediaが指摘しています。指摘によれば、Redditのコンテンツを取得して検索結果に表示可能なのはGoogleだけだとのことです。

Google's Exclusive Reddit Access
https://www.404media.co/email/4650b997-7cc3-4578-834c-7e663ed3d516/

404mediaによると、RedditはコンテンツのクロールをGoogleにだけ許可し、robots.txtを用いて、BingのほかDuckDuckGo、Mojeek、Qwantなどをブロックしているとのこと。

手元環境のBingで検索をかけたところ、検索結果なしとはならず、Redditのコンテンツがヒットしました。

しかし、これは過去にクロールした情報が表示されているだけのようなので、「ツール」から時間指定で「1週間以内」を指定してみます。

「結果がありません」になりました。

一方のGoogleでも確認を行ってみます。

すると、普通に直近の情報も表示されました。

ブロック措置の原因だと推測されているのは、GoogleがRedditと結んだ、コンテンツをAIのトレーニングに活用する契約です。GoogleはRedditに対してライセンス料として年間6000万ドル(約90億円)を支払っているとみられています。

GoogleがRedditの投稿内容をAPIでリアルタイム取得してAIのトレーニングに活用へ、Redditは新規株式公開目前 - GIGAZINE

ただ、Redditの広報を担当するティム・ラスシュミット氏はニュースサイト・The Vergeのコメント要請に対して「今回の件はGoogleとの提携とは無関係です。Redditのコンテンツ利用について、我々は複数の検索エンジンと交渉中です。しかし、AIの利用を含めて、強制力のある約束をすることができない、あるいはする気がない人たちがいるため、全員との合意には至っていません」と述べています。

Reddit is now blocking major search engines and AI bots — except the ones that pay - The Verge
https://www.theverge.com/2024/7/24/24205244/reddit-blocking-search-engine-crawlers-ai-bot-google