开发者发布免费工具：量化AI爬虫给网站带来的带宽与算力成本
针对日益普遍的AI爬虫抓取问题，一款名为BotCost的免费工具引发了开发者社区的广泛关注。该工具旨在帮助网站站长量化AI机器人（如OpenAI、Anthropic爬虫）所消耗的隐性成本。通过上传Nginx、Apache、Cloudflar...
标签索引
AI爬虫
这个标签下有 13 篇文章。按时间回看相关判断与实践记录。
标签精选
相关内容
AI重构内容分发：当我的读者变成AI爬虫，我用LLM搞定了三十年没搞懂的缓存
本文讲述了开发者利用AI助手Claude在数小时内理清并重构了困扰其三十年的HTTP缓存策略的经历。这一技术突破揭示了一个更深刻的行业趋势：网站的受众已悄然从人类转变为AI爬虫、搜索机器人和训练数据管道。作者指出，优化缓存不再仅仅是为了提升...
硬核实测：透过 Nginx 日志看 ChatGPT、Claude 与 Google AI 的抓取本质
本文作者通过自定义 Nginx 日志格式，对 ChatGPT、Claude、Perplexity 和 Google Gemini 进行了抓取行为实测。结果显示，OpenAI 和 Anthropic 会使用专属 User-Agent（如 Ch...
开源游戏Wesnoth引入工作量证明机制，反击AI爬虫掠夺服务器资源
开源回合制策略游戏《韦诺之战》官网部署了名为“Anubis”的防护系统，以抵御AI公司的大规模内容爬取。由于过度爬取导致服务器崩溃及资源耗尽，开发者认为这打破了网站托管的社会契约。Anubis采用了类似Hashcash的工作量证明机制，使得...
反击AI数据掠夺：开源工具Miasma用毒化数据诱捕爬虫
针对AI公司大规模抓取网络数据的行为，开发者推出了名为Miasma的开源反击工具。该工具通过在网站中植入人类不可见的隐藏链接，将AI爬虫诱骗至一个“数据毒药池”。在这个陷阱中，爬虫将陷入无限循环，并获取大量无意义的垃圾数据。Miasma基于...
科技论坛 Linux.do 频繁卡顿，罪魁祸首疑似AI爬虫疯狂抓取
近日，知名科技社区 Linux.do 出现访问迟缓现象，引发用户热议。有用户分析指出，造成服务器压力的根源可能并非人类访问者，而是来自各大AI厂商的爬虫客户端。这些AI代理为了获取实时数据进行训练和搜索增强，对该社区进行了极高频率的抓取。由...
AI爬虫无视协议引发众怒，网站宣布不再支持退出机制
近期关于“不支持退出表单”的文章引发热议，揭示了网站所有者与AI公司之间的紧张关系。Hacker News评论指出，包括OpenAI和百度在内的AI爬虫正频繁绕过Cloudflare等安全防御，对服务器发起每分钟数千次的高频请求，甚至攻击不...
警惕！谷歌调整爬虫策略：无robots.txt文件将拒索引
最新发现，谷歌似乎已调整搜索索引策略：若网站根目录缺失或无法访问robots.txt文件，Googlebot将停止抓取并导致站点从搜索结果中消失。这一改变打破了过往惯例，可能与当前AI爬虫泛滥有关，迫使谷歌收紧访问协议。站长需立即创建该文件...
对抗AI疯狂抓取，网站祭出“工作量证明”机制进行反击
MetaBrainz 宣布启用名为 Anubis 的防护系统，以应对 AI 公司疯狂爬取导致的服务器崩溃风险。该系统引入类似 Hashcash 的工作量证明机制，利用计算成本差异来遏制大规模爬虫，同时尽量降低对合法用户的干扰。这一举措反映了...
网站保护机制Anubis：防AI爬虫的技术解析
该网站采用Anubis保护机制，以防止AI公司大量爬取内容导致服务器崩溃。Anubis基于工作量证明原理，类似Hashcash，对个别用户负担小，但对大规模爬虫成本高昂。此机制依赖现代JavaScript功能，需用户启用，并可能受JShel...
- 1
- 2
- 共 2 页