Cloudflare は、サイト上の AI クローラーを単一の Block AI bots トグルではなく、行動ごとに制御できるようにした。Free を含む全顧客が対象で、検索経由の流入を残しつつ学習用途だけを止めるといった運用に効く。
制御できる行動は次のとおり。
- Search: 後から質問に答えるためにコンテンツを収集・索引するクローラー
- Agent: チャットの fetch ボットやブラウザ操作エージェントなど、人の代理でリアルタイムに動く自動化
- Training: モデルの学習・ファインチューニングのためにコンテンツを取得するクローラー(Search と Training を兼ねる mixed-purpose も含む)
各行動について、ゾーン全体でブロック、広告表示ページのみブロック、ブロックしない、のいずれかを選べる。設定はダッシュボードの Security Settings にある Configure AI bot policies から行う。
2026年9月15日以降に Cloudflare へオンボードする新規ドメインでは、既定で Training と Agent を広告表示ページでブロックし、Search は許可する。同日以降、Search と Training を兼ねるクローラーも Training ブロックの対象になる。新既定のオプトアウトは同日前まで可能である。従来の単一トグル Block AI bots は同日に非推奨となる。