Cloudflare、AIクローラーによるスクレイピングに対して意思表明を行うための「コンテンツシグナルポリシー」を発表

Webサイトのコンテンツに対するAIによるアクセスや利用に対する意思表明をサポート

（2025年 9月 24日 本国発表）

誰もが接続しやすいコネクティビティクラウドのリーディングカンパニーであるCloudflare（クラウドフレア）は、本日、Webサイトの運営者やクリエイターが、自らのコンテンツをより細かく管理可能になる「コンテンツシグナルポリシー」を発表しました。この新たなポリシーによって、Webクローラーに対してサイトへのアクセス可否を指示できるシンプルなテキストファイル「robots.txt」を更新できるようになりました。今後、Webサイトの運営者やクリエイターは、AIによる概要の生成や推論に対するオプトアウトを含め、第三者によるコンテンツの利用に対する意思表明が可能になります。

インターネットは現在、ユーザーが情報を求めてコンテンツの宝の山を探索する「検索エンジン」型から、AIが駆動し、人間がWebサイトを訪問する必要さえない「回答エンジン」型に移行しつつあります。この状況は、Webサイトへの流入や閲覧を増やすことでメディアやコンテンツクリエイターが収益や評判を得られるという、インターネット本来のビジネスモデルを深刻に脅かしています。AIクローラーは今日、Webサイトから膨大な量のデータをスクレイピングしていますが、Webサイトの運営者は、自らが所有するコンテンツの利用そのものを許可するか、どのような目的であれば許可したいかというニュアンスを表現する方法を持ち合わせていません。

「robots.txt」ファイルは、Webサイトの運営者に対して、アクセスを許可するAIクローラーやAIクローラーがアクセス可能な領域の指定を可能にします。しかし、アクセス後のコンテンツの利用方法の希望に関しては、AIクローラーに通知しません。AIクローラーが読み取ることができる、データの利用方法を指示するための標準的な方法が必要です。

Cloudflareの共同創業者兼最高経営責任者（CEO）であるマシュー・プリンス（Matthew Prince）は、「インターネットには、コンテンツスクレイピングへの解決策を待っている時間はありません。その間にも、クリエイターたちのオリジナルコンテンツは第三者が利益を得るために利用されています。Cloudflareは、インターネットがオープンで繁栄している状態を維持するために、Webサイトの運営者たちが自らのコンテンツの利用許可条件を明確に表明する方法を提供します。『Robots.txt』はまだ十分に活用されていないリソースですが、Cloudflareが活用を強化し、コンテンツクリエイターの意思を無視してはならないとAI企業に宣言します」と述べています。

Cloudflareは、Webサイト、API、MCPサーバー、そしてインターネットに接続されたサービスのすべての運営者は、それがローカルな報道機関であっても、AIスタートアップであっても、ECサイトであっても、自らのデータが第三者にどのような商業目的で利用されるかを決定する権利を持つべきであると考えています。現在、380万以上のドメインがCloudflareの「robots.txt」サービスを利用して、自らのコンテンツがトレーニング目的で使用されることを望まない旨を表明しています。本日発表した「コンテンツシグナルポリシー」によって、ユーザーは「robots.txt」の設定を強化し、AIクローラーなどの自動化された手段によるWebサイトへのアクセスに対して、明確な意思を表明できます。

本ポリシーは、以下の方法でクローラーに通知されます。

• コンテンツシグナルの解釈方法を簡単に説明すると、「Yes」は許可、「No」は禁止、シグナルなしの場合は明示的な意向がないことを意味します。

• クローラーがコンテンツを使用する主な用途（検索、AI入力、AIトレーニングなど）を明確に定義します。

• Webサイトの運営者が「robots.txt」ファイルで表明する意思には、法的な意義が生じる可能性があることをAI企業に注意喚起します。

「robots.txt」ファイルは、望まないスクレイピングを完全には阻止できないかもしれません。Cloudflareの目的は、このポリシー言語の改善によって、Webサイトの運営者の意思をボットの運営企業に明確に伝え、コンテンツクリエイターの意思を尊重するように企業に促すことです。

Cloudflareは本日、Cloudflareに「robots.txt」ファイルの管理を依頼しているすべてのユーザーに対して、新しいポリシー言語を自動的に「robots.txt」ファイルに追加しました。同時に、カスタマイズした「robots.txt」ファイルを使用して、クローラーにコンテンツの利用方法を指示したい場合のサポートツールも公開しました。

詳細は、以下のリソースをご覧ください。

Cloudflare’s 2025 Annual Founders’ Letter

https://blog.cloudflare.com/ja-jp/cloudflare-2025-annual-founders-letter/

Giving users choice with Cloudflare’s new Content Signals Policy

https://blog.cloudflare.com/content-signals-policy/

Content Signals

https://contentsignals.org/

Cloudflare（クラウドフレア）について

Cloudflare, Inc.（NYSE:NET / https://www.cloudflare.com/ja-jp/ ）は、より良いインターネットの構築の支援を使命に掲げる、誰もが接続しやすいコネクティビティクラウドのリーディングカンパニーです。Cloudflareのコネクティビティクラウドは、世界中のあらゆる組織や個人、アプリケーション、ネットワークを高速かつ安全にするとともに、複雑性やコストの削減を実現する、フル機能かつ統一された業界最先端のクラウドネイティブ製品と開発者ツールプラットフォームを提供しています。

世界最大規模かつ最も相互接続されているネットワークのひとつであるCloudflareは、日々何十億もの脅威をオンラインでブロックしており、大企業からスタートアップ、中小企業、非営利団体、人道支援団体、政府機関まで、世界中の何百万もの組織から信頼されています。

Cloudflareのコネクティビティクラウドの詳細については https://www.cloudflare.com/ja-jp/connectivity-cloud/ 、インターネットの最新トレンドとインサイトについては https://radar.cloudflare.com をご覧ください。

Follow us: Blog | X | LinkedIn | Facebook | Instagram

将来予想に関する記述

本プレスリリースには、将来予想に関する記述（1933年米国証券法第27A条および1934年米国証券取引所法21E条（いずれもその後の改正を含む）に該当）があり、それらには重大なリスクおよび不確定要因が含まれています。将来予想に関する記述は、「場合があります」、「つもりです、するでしょう」、「はずです」、「見込まれます」、「可能性を探ります」、「する計画です」、「予想します」、「かもしれません」、「意図しています」、「目標とします」、「見積ります」、「検討します」、「考えます」、「推測します」、「予測します」、「潜在的」、「引き続き」、またはそれらの否定表現、あるいはCloudflareの予想、戦略、計画、または意図に関わるその他同様の用語もしくは表現によって識別できる場合があります。しかし、すべての将来予想に関する記述にこうした識別の語句が含まれているわけではありません。本プレスリリースに明示的または暗示的に示されている将来の見通しに関する記述には、Cloudflareの製品とテクノロジーの機能と有効性、Cloudflareの製品とテクノロジーを使用することによるCloudflareの顧客へのメリット、Cloudflareが新しいソリューションを通じてさらなる顧客を惹きつけ、既存の顧客への販売を拡大する潜在的な機会、Cloudflareの新しいソリューションがCloudflareの現在および潜在的なすべての顧客に向けて一般公開される時期、Cloudflareの技術開発、将来の事業、成長、イニシアチブ、または戦略、およびCloudflareのCEOなどによるコメントに関する記述が含まれますが、これらに限定されません。2025年7月31日に米国証券取引委員会（SEC）に提出されたCloudflareの四半期報告書（フォーム10-Q）やCloudflareがSECに随時提出するその他の文書で詳説するリスク（これらに限定はされません）をはじめ、さまざまな要因によって、将来予想に関する記述で明示または黙示した結果と実際の結果との間に重大な相違が生じる可能性があります。

本プレスリリースに含まれる将来予想に関する記述は、あくまで記述当日現在の事象についてのみ言及しています。Cloudflareは、法律で義務付けられた場合を除き、本プレスリリースの日付以降の事象や状況を反映するために、あるいは新しい情報や予期しない事象の発生を反映するために、将来予想に関する記述を更新する義務を負いません。Cloudflareが将来予想に関する記述で開示した計画、意図、予想は実際に実行・達成されない場合があるため、Cloudflareの将来予想に関する記述に過剰に依存すべきではありません。

©2025 Cloudflare, Inc. All rights reserved. Cloudflare、Cloudflareのロゴ、およびその他のCloudflareのマークは、米国およびその他の法域におけるCloudflare, Inc. の商標や登録商標です。本書に記載されているその他の商標および名称は、各所有者の商標である可能性があります。