试图防御AI爬虫的Anubis，为何反成人类的“算力税”？

一名开发者在使用大模型（LLM）辅助编写 Linux 内核补丁时，遇到了名为 Anubis 的 HTTP 代理拦截。Anubis 是一种旨在通过要求浏览器进行工作量证明来阻止 AI 抓取内容的反爬虫工具。然而，该开发者利用 AI 编写了一个名为 `anubis-fetch` 的开源工具，成功绕过了这一限制。该工具不仅利用 Go 语言的高效特性原生解决 PoW 挑战，还能模拟 Chrome 浏览器的 TLS/JA3 指纹，甚至调用 Chromium 浏览器自动化完成验证，从而轻松骗过 Cloudflare 等防御机制。文章通过这一案例深刻剖析了 Anubis 类技术的弊端：对于 AI 和自动化脚本而言，解决 PoW 挑战是一次性的成本，获得的 Cookie 可无限复用，边际成本极低；反之，人类用户每次访问都需要耗费时间等待和电池电量。这种机制实际上演变成了一种“累退税”，严重损害了使用手机、低性能设备或文本浏览器（如 w3m/lynx）、屏幕阅读器等辅助技术的用户的体验。据估算，这种机制在全球范围内每年可能导致数千人年的时间被浪费，而真正的 AI 爬虫却早已畅通无阻。

事件分析

💡 核心观点：基于算力门槛的反爬虫机制本质上是向人类征收“算力税”，不仅无法有效遏制AI，反而破坏了开放网络的访问体验。