RedditがGoogle以外の検索エンジンによるコンテンツの取得をブロックしているという指摘
![](https://i.gzn.jp/img/2024/07/25/reddit-block-without-google/00_m.png)
ソーシャル掲示板サイトとして知られるRedditが、BingやDuckDuckGoなどの検索エンジンによるコンテンツのクロールをブロックしていることを、ニュースサイトの404mediaが指摘しています。指摘によれば、Redditのコンテンツを取得して検索結果に表示可能なのはGoogleだけだとのことです。
Google's Exclusive Reddit Access
https://www.404media.co/email/4650b997-7cc3-4578-834c-7e663ed3d516/
404mediaによると、RedditはコンテンツのクロールをGoogleにだけ許可し、robots.txtを用いて、BingのほかDuckDuckGo、Mojeek、Qwantなどをブロックしているとのこと。
手元環境のBingで検索をかけたところ、検索結果なしとはならず、Redditのコンテンツがヒットしました。
![](https://i.gzn.jp/img/2024/07/25/reddit-block-without-google/bing-reddit_m.png)
しかし、これは過去にクロールした情報が表示されているだけのようなので、「ツール」から時間指定で「1週間以内」を指定してみます。
![](https://i.gzn.jp/img/2024/07/25/reddit-block-without-google/bing-reddit-2_m.png)
「結果がありません」になりました。
![](https://i.gzn.jp/img/2024/07/25/reddit-block-without-google/bing-reddit-3_m.png)
一方のGoogleでも確認を行ってみます。
![](https://i.gzn.jp/img/2024/07/25/reddit-block-without-google/google-reddit-1_m.png)
すると、普通に直近の情報も表示されました。
![](https://i.gzn.jp/img/2024/07/25/reddit-block-without-google/google-reddit-2_m.png)
ブロック措置の原因だと推測されているのは、GoogleがRedditと結んだ、コンテンツをAIのトレーニングに活用する契約です。GoogleはRedditに対してライセンス料として年間6000万ドル(約90億円)を支払っているとみられています。
GoogleがRedditの投稿内容をAPIでリアルタイム取得してAIのトレーニングに活用へ、Redditは新規株式公開目前 - GIGAZINE
![](https://i.gzn.jp/img/2024/02/26/google-reddit-partnership-expand/00_m.jpg)
ただ、Redditの広報を担当するティム・ラスシュミット氏はニュースサイト・The Vergeのコメント要請に対して「今回の件はGoogleとの提携とは無関係です。Redditのコンテンツ利用について、我々は複数の検索エンジンと交渉中です。しかし、AIの利用を含めて、強制力のある約束をすることができない、あるいはする気がない人たちがいるため、全員との合意には至っていません」と述べています。
Reddit is now blocking major search engines and AI bots — except the ones that pay - The Verge
https://www.theverge.com/2024/7/24/24205244/reddit-blocking-search-engine-crawlers-ai-bot-google
・関連記事
Cloudflareが学習用データを収集するAIボットを一括でブロックする機能をリリース - GIGAZINE
「PerplexityのAIがクローラーをブロックするrobots.txtを無視している」との指摘に対しCEOが「無視しているわけではないがサードパーティーのクローラーに依存している」と主張 - GIGAZINE
Bingが「生成AIでの要約」を最上部に表示する機能のテストを開始 - GIGAZINE
Google検索の無限スクロール機能が廃止される - GIGAZINE
・関連コンテンツ