Cloudflare、「検索か、AI学習か」の二者択一を解消

新たな管理機能と推奨設定により、出版社・メディア業界をはじめとする企業は、

「検索」「AI学習」「AIエージェント」ごとに、自社コンテンツの使われ方を個別に指定可能へ。検索とAI学習を兼ねる主要なクローラーは、この指定を尊重する仕組みをすでに提供、または開発を進めています。

（2026年 9月 15日 本国発表）

誰もが接続しやすいコネクティビティクラウドのリーディングカンパニーであるCloudflare（クラウドフレア）は、AIによるコンテンツ収集（クロール）について、新たに「Accountable（説明責任がある）」という認定区分を設けたと発表しました。あわせて、ウェブサイトが検索結果に表示され続けたまま、AI学習への利用だけを拒否できる新設定「Disallow AI Training」の提供を本日開始します。

Cloudflareは11週間前、「ウェブサイトの所有者は、自らのコンテンツがAIにどう使われるかを実質的に管理できるべきだ」として、クローラーの運営者が今後もアクセスを継続するために満たすべき要件を示していました。今回、Apple、Google、Microsoftの3社が、この基準をすでに満たしている、または満たすための具体的な期限を示したことから「Accountable」に認定されました。基準を満たさないその他の兼用クローラーは、サイト側がAI学習を拒否した時点でブロックされます。

約30年にわたり、クローラーとウェブサイト所有者の関係は単純なものでした。コンテンツを収集する代わりに、検索経由でトラフィックを返すといった互恵関係が前提にありました。AIはその前提を変えました。検索インデックス用とAI学習用のコンテンツを1つのクローラーでまとめて収集する「兼用クローラー（mixed-use crawler）」は、現在、Cloudflareのネットワークで確認されるクローラートラフィックの36.6%を占め、単独で最大のカテゴリーとなっています。

一方で、サイト側の意向は明確です。検索クローラーを拒否しているサイトは1%未満にとどまるのに対し、17%がAI学習を制限しています。しかしこれまでは、適切な制御手段を持たないクローラーが相手の場合、AI学習を拒否すると検索結果からも消えてしまう状態でした。

Cloudflareの共同創業者兼CEOであるマシュー・プリンス（Matthew Prince）は、次のように述べています。

「インターネットをより良いものにするとは、検索の価値を支えてきたオープン性を保ちながら、ウェブを支える人々や企業が、自らの成果物の使われ方を実際にコントロールできるようにすることです。Apple、Google、Microsoftといった企業と協力しながら、健全なエコシステムを築いていくことを楽しみにしています」

兼用クローラーへの対応は、AI学習をめぐる問題のなかで最も難しい部分でした。

次の論点はAI要約です。Cloudflareが「Accountable」に認定する事業者は、サイト所有者に対し、AI要約からのオプトアウト手段を提供することが求められます。現状は事業者ごとに「はい」か「いいえ」を個別に設定する形ですが、Cloudflareは来年初めまでに、自社コンテンツをどの程度含めるかを1カ所でまとめて管理できるようにすることを目標としています。

新しい管理機能と、新しい推奨設定

Cloudflareは、これまでの「Block AI Bots（AIボットをブロック）」という一括スイッチを廃止し、①検索、②AI学習、③AIエージェント（利用者に代わってウェブを閲覧・操作するAI）の3つを個別に設定できる管理機能に置き換えます。Cloudflareで新たに開設されるサイトには、ビジネスモデルに応じた推奨設定が提示されます。

• 広告を掲載しているサイト：検索クロールは許可、AI学習は拒否、広告掲載ページではAIエージェントをブロック

• それ以外のサイト：検索、AI学習、AIエージェントをいずれも許可（広告収入に依存しない多くのサイトの現在の運用に合わせたもの）

また、「Managed Robots.txt」機能は「Bot Preference Sync」に置き換わります。サイト所有者がクロールに関する意向を一度設定すれば、対応するすべてのクローラーに自動的に反映される仕組みです。設定はいつでも変更できます。

説明責任のあるAIクローリング（Accountable）

Cloudflareは、兼用クローラーを含め、透明性と説明責任を備えたAIクローリングの基準を明文化しました。クローラーの運営者は、次の4要件を満たすか、定められた期限内に満たすことを約束する必要があります。

• robots.txtまたは同等の仕組みを通じて、サイト所有者がAI学習を明確に拒否できるようにすること

• サイト所有者が、AIによる検索要約への掲載を拒否できるようにすること

• 検索とAI学習のそれぞれについて、コンテンツがどのように使われたかをURL単位で開示すること

• AI学習を拒否しても従来の検索順位に影響しないことを、公に明言すること

Apple、Google、Microsoftの3社は、これらの基準を満たすことを示しています。たとえばGoogleは、検索からは外れずにAI学習だけを拒否できる「Google-Extended」を提供しており、今年初めには、サイト所有者が検索におけるAIに対応するための新しいツールも発表しました。

また、検索用とAI学習用でクローラーを分けて運用している主要AI企業もあります。この場合、Cloudflareは検索に影響を与えずに学習クローラーだけをブロックできるため、該当するクローラーも「Accountable」に分類しています。対象事業者の一覧は、Cloudflare Radar（radar.cloudflare.com）で公開されています。

また、Cloudflareは、IETF（Internet Engineering Task Force）における標準化の取り組みにも積極的に参加しています。策定中の仕様「ai-prefs」は、あらゆるウェブサイトがAIアクセスに関する意向を、標準化された移植性のある形で表明できるようにするものです。今回の管理機能は、こうした新しい標準とあわせて機能するよう設計されています。

AIとコンテンツ管理に関するCloudflareの考え方は、以下の資料でご確認いただけます。

• ブログ：Have it both ways: stay discoverable in search while disallowing AI training（英語）

• ブログ： Content Independence Dayから1年：エージェンティックインターネットのビジネスモデル構築（日本語）

Cloudflare（クラウドフレア）について

Cloudflare, Inc.（NYSE:NET / https://www.cloudflare.com/ja-jp/ ）は、より良いインターネットの構築の支援を使命に掲げる、誰もが接続しやすいコネクティビティクラウドのリーディングカンパニーです。Cloudflareのコネクティビティクラウドは、世界中のあらゆる組織や個人、アプリケーション、ネットワークを高速かつ安全にするとともに、複雑性やコストの削減を実現する、フル機能かつ統一された業界最先端のクラウドネイティブ製品と開発者ツールプラットフォームを提供しています。

世界最大規模かつ最も相互接続されているネットワークのひとつであるCloudflareは、日々何十億もの脅威をオンラインでブロックしており、大企業からスタートアップ、中小企業、非営利団体、人道支援団体、政府機関まで、世界中の何百万もの組織から信頼されています。 

Cloudflareのコネクティビティクラウドの詳細については  https://www.cloudflare.com/ja-jp/connectivity-cloud/ 、インターネットの最新トレンドとインサイトについては https://radar.cloudflare.com をご覧ください。

Follow us: Blog | X | LinkedIn | Facebook | Instagram

将来予想に関する記述

本プレスリリースには、将来予想に関する記述（1933年米国証券法第27A条および1934年米国証券取引所法21E条（いずれもその後の改正を含む）に該当）があり、それらには重大なリスクおよび不確定要因が含まれています。将来予想に関する記述は、「場合があります」、「つもりです、するでしょう」、「はずです」、「見込まれます」、「可能性を探ります」、「する計画です」、「予想します」、「かもしれません」、「意図しています」、「目標とします」、「見積ります」、「検討します」、「考えます」、「推測します」、「予測します」、「潜在的」、「引き続き」、またはそれらの否定表現、あるいは当社の予想、戦略、計画、または意図に関わるその他同様の用語もしくは表現によって識別することができます。しかし、すべての将来予想に関する記述にこうした語句が含まれているわけではありません。本プレスリリースで明示または黙示された将来予想に関する記述には、Cloudflareの製品およびテクノロジーの性能と有効性、Cloudflareの製品および技術によってお客様が得られる利益、Cloudflareの製品および関連する機能がCloudflareのすべてのお客様（既存および見込み）にベータ版として公開、あるいは一般公開されるタイミング。Cloudflareの技術開発、将来の事業活動、成長、イニシアチブ、または戦略、CloudflareのCEOなどのコメントが含まれますが、これらに限定はされません。2023年8月3日に提出されたCloudflareの四半期報告書（フォーム10-Q）を含む、Cloudflareが米国証券取引委員会（SEC）に提出する報告書、およびCloudflareがSECに随時提出するその他の報告書で詳述するリスク（ただしこれらに限定されない）をはじめ、さまざまな要因によって、上記の将来予想に関する記述で明示または黙示した結果と実際の結果との間に重大な相違が生じる可能性があります。将来予想に関する記述は、「場合があります」、「つもりです、するでしょう」、「はずです」、「見込まれます」、「可能性を探ります」、「計画です」、「予想します」、「かもしれません」、「意図しています」、「目標とします」、「見積ります」、「検討します」、「考えます」、「推測します」、「予測します」、「潜在的」、「引き続き」、ないしはそれらの否定表現、あるいはCloudflareの予想、戦略、計画、または意図に関わるその他同様の用語もしくは表現によって識別可能な場合があります。ただし、すべての将来予想に関する記述にこうした識別の語句が含まれているわけではありません。本プレスリリースにて明示または黙示された将来予想に関する記述には、Disallow AI Training、Bot Preference Sync、およびCloudflareの他の製品および技術の機能および有効性、Cloudflareのお客様がDisallow AI Training、Bot Preference Sync、およびCloudflareの他の製品および技術を使用するメリット、Disallow AI Training、Bot Preference Syncやその関連機能がCloudflareの現在および潜在的なすべてのお客様に一般公開される時期、Cloudflareの技術開発、将来の運用、成長、イニシアチブ、または戦略、CloudflareのCEOその他のコメントに関する記述が含まれますが、これらに限定はされません。Cloudflareが2026年8月6日に米国証券取引委員会（SEC）に提出した2026年6月30日を期末とするCloudflare四半期報告書（フォーム10-Q）やCloudflareがSECに随時提出するその他の文書で詳説するリスク（これらに限定はされません）をはじめ、さまざまな要因によって、上記の将来予想に関する記述で明示または黙示した結果と実際の結果との間に重大な相違が生じる可能性があります。

本プレスリリースに含まれる将来予想に関する記述は、あくまで記述当日現在の事象についてのみ言及しています。Cloudflareは、法律で義務付けられた場合を除き、本プレスリリースの日付以降の事象や状況を反映するために、あるいは新しい情報や予期しない事象の発生を反映するために、将来予想に関する記述を更新する義務を負いません。Cloudflareが将来予想に関する記述で開示した計画、意図、予想は実際に実行・達成されない場合があるため、Cloudflareの将来予想に関する記述に過剰に依存すべきではありません。

© 2026 Cloudflare, Inc.All rights reserved.Cloudflare、Cloudflareのロゴ、およびその他のCloudflareのマークは、米国およびその他の法域におけるCloudflare, Inc.の商標や登録商標です。本書に記載されているその他の商標および名称は、各所有者の商標である可能性があります。