コンテンツサイトやナレッジベース、小規模メディアを運営していると、アクセス解析に見慣れない AI crawler が急増することがある。検索サービスのインデックスを作るもの、利用者の指示でページを即時取得するもの、学習用データセットへ内容を取り込む可能性があるもの。どれも自動取得プログラムに見えるが、サイトとの価値交換は同じではない。
2026年7月1日、Cloudflare は Pay per crawl を Pay per use へ発展させる方針を発表した。Cloudflare はさらに、2026年9月15日以降、新たに Cloudflare へ追加されるすべてのドメインについて、広告を表示するページでは Training と Agent を初期設定で遮断し、Search は初期設定で許可すると予告した。サイト運営者が注目すべきなのは個別の製品設定ではない。「AI bot」という一括りの名称だけで、すべてのアクセス可否を決めてはいけないという点である。
先に確認すべきなのは、その crawler が何のために来るのか、どのコンテンツへ触れるのか、どれほどの負荷を生むのかだ。その上で、許可する、観察またはレート制限する、ライセンスや料金を求める、遮断する、のどれを選ぶかを決める。
名前ではなく用途から分類する
crawler とは、サイトの内容を自動で読み取るプログラムである。従来の検索 bot はページを取得してインデックスを作り、検索結果から読者をサイトへ戻すことが多い。一方、AI crawler の目的は検索露出、利用者のための即時取得、モデル学習などに分かれる。
検索インデックス型がサイトへ返す主な価値は露出である。サイトはインデックス可能な内容を提供し、識別できる流入を期待する。agent 即時取得型は、利用者に代わって仕様、価格、FAQ などを読む AI アシスタントである。この場合に管理すべきなのは、取得頻度、権限、実行可能な操作の範囲だ。
学習・データセット型は、コンテンツをモデルやデータ製品へ利用する。読者をサイトへ戻すとは限らないため、アクセス制御だけでなくライセンスの問題として扱う必要がある。社内・パートナー bot では、責任者、想定トラフィック、用途変更時の手順を確認できるかが判断軸になる。
BMC では以前、agent にサービスを正しく利用させるには、機械が理解できる入口と受け入れ基準が必要だと説明した。〈サイトにAI用の入口は必要？まずこの表で判断する〉が扱うのは入口の伝え方であり、ここで決めるのは入った後に何を許すかである。
4分類の初期方針を一枚で決める
bot の名前を一つずつ見て推測するより、用途ごとに初期方針を置くほうが運用しやすい。User-Agent は偽装でき、送信元 IP も変わり得る。それでも、相手が表明する目的、実際の挙動、アクセス先、測定できる負荷を組み合わせれば、方針を調整できる。
| crawler の種類 | 初期判断 | 許可または調整の条件 | 遮断または追加対応が必要な兆候 | 最初に測る指標 |
|---|---|---|---|---|
| 検索インデックス型 | 許可 | 用途が明確で、識別可能なリファラルを生み、取得頻度が一般的な検索 bot の2倍以下 | 身元が不透明、送信元を頻繁に変更、大量の要約がクリックを代替。30日間の AI referral がコンテンツページ総訪問数の1%未満なら、観察または商務評価へ移す | 週次の AI referral、取得されたページ数、サーバーコスト |
| agent 即時取得型 | 観察またはレート制限 | 公開ページの読み取りに限定し、ログイン、注文、フォーム送信を行わない。利用者単位で発生するリクエストを制限できる | ログイン制限の回避、サイト内検索や絞り込みの集中的な実行、フォーム送信、機密性の高い操作の模倣 | 1日のリクエストピーク、エラー率、高価値経路へのリクエスト数 |
| 学習・データセット型 | ライセンスまたは有料化 | 公開ライセンスがある、サイトが明示的に同意している、または再利用を許可したコンテンツである | 用途を説明しない、検索と学習を同じ識別情報で行う、オプトアウトや削除の仕組みがない | 取得文字数、重複取得率、ライセンス照会への回答率 |
| 社内・パートナー bot | 確認済みの協業用途に限り許可 | 固定された識別情報と責任者があり、テスト用と本番用のトラフィックが分離されている | 責任者がいない、通知なく用途を拡大する、トラフィック急増時に対応者がいない | パートナー別リクエスト数、異常通知への応答時間 |
ここで選ぶ判断は永久的なラベルではない。許可は、現時点で価値交換が成立しているという意味だ。観察またはレート制限は用途を残しながらコストを抑える選択であり、ライセンスまたは有料化はコンテンツ資産を直接利用するケースに向く。用途が不明、権限を逸脱、またはリスクが継続する場合は遮断する。挙動の変化を方針へ反映するため、30日ごとにデータを見直す。
高価値の経路から保護する
一般公開しているページであっても、機械による無制限の大量取得まで許可したことにはならない。最初から完全な規程を作る必要はない。まず会員、講座、価格、独自調査のページに加え、サイト内検索、絞り込み、API-like routes を高価値経路として洗い出す。API-like routes とは、見た目は通常のウェブページでも、プログラムから繰り返し照会でき、構造化された結果を返す入口を指す。
次に、方針を適切な実行層へ割り当てる。robots.txt は一般的な取得方針を伝える手段だが、強制的なアクセス制御にはならない。WAF と bot management は、トラフィックの特徴に基づく観察、レート制限、遮断に使える。
agent が価格、在庫、調査データ、検索結果を大量に照会するなら、API と rate limit を使う経路へ移す。これにより利用主体を識別し、頻度を制限し、記録を残せる。学習用データセット、有料コンテンツ、既存の協業範囲を超える利用は、技術設定だけで暗黙に認めず、契約とライセンスで扱う。
初版の方針で決める項目は三つでよい。用途ごとの初期判断、高価値経路に対する追加制限、30日後の見直し責任者である。見直しでは、AI crawler のリクエスト数、識別可能な流入、高価値経路へのアクセス数、エラーやコストの変化を確認する。取得頻度が一般的な検索 bot の2倍を超えた場合、または30日間連続で AI referral がコンテンツページ総訪問数の1%未満だった場合は、それまでの許可を自動継続せず、レート制限、ライセンス、遮断のいずれが妥当かを再評価する。
外部から送られてくる AI コンテンツも扱っているなら、〈AI コンテンツのラベルは時間を節約してくれない。整理すべきは情報の入口だ〉も使える。一方の方針でサイトが何を受け入れるかを管理し、もう一方でサイト内コンテンツを機械にどう利用させるかを管理する。
今日の作業は「AI crawler access policy v0.1」を一枚作ることだ。4種類の用途、初期判断、高価値経路、実行手段、責任者、30日後の見直し日を記入する。robots.txt、WAF、bot management、API、rate limit、契約とライセンスは別々の六つの答えではない。一つの用途方針を、それぞれ異なる層で実行するための手段である。
AI整理カード
コンテンツサイト向けの AI crawler access policy v0.1 を作成する。最初に、サイトの種類、公開コンテンツと有料コンテンツの範囲、取得可能な crawler ログ、コンテンツ判断と技術判断の担当者を確認する。不足情報は推測せず「要確認」と記す。来訪プログラムを「検索インデックス」「agent によるリアルタイム取得」「学習またはデータセット作成」「社内または提携先の bot」の4種類に分類し、それぞれについて実際の用途、アクセス対象のパス、既定の判断、許可条件、リスクシグナル、測定指標、実施手段、責任者を整理する。既定の判断は「許可」「観察またはレート制限」「ライセンスまたは課金」「ブロック」の4つだけを使う。さらに、会員、講座、料金、調査資料、サイト内検索、絞り込み、API-like routes など価値の高いパスを洗い出し、robots.txt、WAF、bot management、API/rate limit、contracts（契約・ライセンス）のどの層で制御するかを示す。クロール頻度が通常の検索 bot の2倍を超える場合、または過去30日間の AI referral がコンテンツページ総訪問数の1%未満である場合は、方針の再評価対象とする。最後に、今日中に実行できる最小のアクションを1つ決め、30日後に確認する項目を設定する。
生活四コマ
図書館には、誰でも使える閲覧室、職員が応対する窓口、自由には入れない書庫がある。蔵書を検索し、読者を図書館へ案内する相手なら、規則の範囲で迎え入れられる。特定の利用者に代わって大量の資料を次々に取り寄せる相手には、速度と閲覧範囲の制限が要る。蔵書をまとめて複製し、自前のデータベースを作ろうとする相手とは、先にライセンス条件を話し合うべきである。入口では全員が同じ「AI」の上着を着ているように見えても、扱いを決めるのは名前ではなく目的である。
- 小さなコンテンツ保管庫に、虫眼鏡を持つ青い検索ロボット、品物を一つ運ぶ白いロボット、大きな空のカートを引く緑のロボットがやって来る。
- 青いロボットは公開カタログを調べ、白いロボットは座っている読者へ依頼品を一つ届ける一方、緑のロボットは大量の資料をカートへ積み始める。
- 運営者は、検索ロボット用の開放レーン、単発依頼のエージェント用の赤い従量制ゲート、大量収集カートを止める赤いロープを設ける。
- 検索ロボットは公開エリアを進み、エージェントは従量制ゲートで待ち、大量収集カートはロープの後ろで止まるなか、運営者がクリップボードで判断を確認する。
参考資料
Cloudflare Blog：Your site, your rules: new AI traffic options for all customers — https://blog.cloudflare.com/content-independence-day-ai-options/（2026-07-01）
Cloudflare Press Release：Cloudflare Allows the Agentic Internet to Flourish with a Simple Philosophy: Your Content, Your Rules — https://www.cloudflare.com/press/press-releases/2026/cloudflare-allows-the-agentic-internet-to-flourish-with-a-simple-philosophy-your-content-your-rules/（2026-07-01）
TechCrunch：Cloudflare’s new policy pushes AI companies to pay for publishers’ content — https://techcrunch.com/2026/07/01/cloudflares-new-policy-pushes-ai-companies-to-pay-for-publishers-content/（2026-07-01）
Help Net Security：Cloudflare changes AI crawler access rules — https://www.helpnetsecurity.com/2026/07/02/cloudflare-ai-crawler-controls/（2026-07-02）
Cloudflare Blog：Introducing pay per crawl: Enabling content owners to charge AI crawlers for access — https://blog.cloudflare.com/introducing-pay-per-crawl/（2025-07-01、per-crawl の仕組みに関する背景資料）
