Cloudflare の Pay-per-crawl システム

Cloudflare が Pay-per-crawl システムをプライベートベータで開始。コンテンツ所有者が AI クローラーにアクセス料金を請求できるシステム。

HTTP 402 Payment Required レスポンスコードを活用し、AI クローラーがコンテンツにアクセスする際に支払い意図を表明する仕組み。ドメイン所有者はサイト全体で統一された価格を設定でき、クローラーに対して「許可」「課金」「ブロック」の 3 つのオプションを提供。

クローラーは Ed25519 鍵ペアを生成し、HTTP Message Signatures を使用して認証。crawler-max-priceやcrawler-exact-priceヘッダーで支払い意図を表明し、Cloudflare が請求処理と収益配分を行う。