Cloudflare 升级防御策略：2026 年起默认禁止 AI 训练爬虫抓取广告页面

IT之家 7 月 2 日消息，互联网基础设施巨头 Cloudflare 宣布对其网络爬虫管理功能进行重大细化升级，旨在解决人工智能数据抓取与网站创作者权益之间的矛盾。随着生成式 AI 的发展，未经授权的数据抓取日益猖獗，Cloudflare 计划通过技术手段为网站所有者提供更精细的控制权。

根据公告，Cloudflare 将根据爬虫机器人的行为特征对其进行分类标记，如“搜索”、“代理”或“AI 训练”。针对目前存在的兼具多种功能的混合型爬虫，Cloudflare 的管理器将采用全模式匹配机制，只要爬虫表现出一种被网站所有者禁止的行为（如 AI 训练），无论其是否伪装成搜索引擎，都将被拦截。

Cloudflare 明确设定了时间表：计划于 2026 年 9 月 15 日默认禁止“AI 代理”和“AI 训练”类爬虫访问包含广告的网页。这一举措旨在保护发布者的核心收益来源，防止内容被 AI 无偿吞噬。此外，为适应从 SEO（搜索引擎优化）到 GEO（生成引擎优化）再到 AEO（答案引擎优化）的变迁，Cloudflare 推出了新版归因业务洞察仪表板。新功能还包括页面变动监控以减少重复抓取浪费，以及按使用量计费的“抓取付费”模式，推动数据获取的商业化合规。

事件分析

💡 核心观点：Cloudflare 此举旨在终结 AI 免费午餐，通过技术壁垒将内容变现逻辑从流量分发强制转向数据授权，重塑数字经济的价值分配。