本文猛烈抨击了 Cloudflare CEO Matthew Prince 关于“互联网机器人流量首次超过人类流量”的声明，称其为一个误导性的“魔术戏法”。文章指出，Prince 在数据选取上存在严重误导嫌疑：他无视仪表盘上显示人类流量仍占约三分之二的“全部流量”数据，仅截取“仅限 HTML”的流量片段作为结论依据，从而歪曲了互联网现状。文章进一步反驳了 Prince 将流量激增归咎于“AI Agent”崛起的说法。数据显示，真正的“Agentic”类别占比极小，填充 AI 流量桶的实际上是用于大模型训练的批量爬虫，如 GPTBot 和 ClaudeBot。作者认为，Prince 这种将“友好的智能代理”偷换为“敌对的训练抓取”的行为，本质上是利用恐慌情绪为 Cloudflare 的“付费爬虫”产品进行营销背书。真正的数据表明，搜索爬虫仍是最大的机器人类别，而所谓的 Agent 爆发甚至在其自身数据集中也无法得到证实。
事件分析
从技术维度看，区分 HTML 流量与全流量是分析网络架构的基础，仅以单一数据切片断言全互联网状态缺乏严谨性。此次争议的核心在于混淆了“大模型训练所需的暴力爬取”与“AI Agent 为用户执行任务的访问行为”。当前的 AI 流量激增更多反映了模型开发商对数据的饥渴，而非 Agent 应用的普及。这预示着网络安全厂商正试图重新定义数据访问权，通过将非授权的数据抓取定义为威胁，从而推销其数据确权与流量管理服务，未来互联网数据的商业流通模式或将因此改变。
💡 核心观点：混淆训练爬虫与 Agent 流量，实则是为兜售数据管控服务而量身定制的恐慌营销。
原文链接：Hacker News
AI周刊：大模型、智能体与产业动态追踪
程序员数学扫盲课
冲浪推荐：AI工具与技术精选导航
Claude Code 全体系指南：AI 编程智能体实战