云聚 AI Token Plan 满 199 减 35 元
port:80 AI Junkie
AI 重度玩家的工程笔记本
DigitalOcean 开发者云
Anyrouter 开放可编程的智能路由
共 13 篇文章

标签:AI爬虫

反击AI数据掠夺:开源工具Miasma用毒化数据诱捕爬虫

针对AI公司大规模抓取网络数据的行为,开发者推出了名为Miasma的开源反击工具。该工具通过在网站中植入人类不可见的隐藏链接,将AI爬虫诱骗至一个“数据毒药池”。在这个陷阱中,爬虫将陷入无限循环,并获取大量无意义的垃圾数据。Miasma基于...

赞(0)ToyToy前沿 阅读(109)

警惕!谷歌调整爬虫策略:无robots.txt文件将拒索引

最新发现,谷歌似乎已调整搜索索引策略:若网站根目录缺失或无法访问robots.txt文件,Googlebot将停止抓取并导致站点从搜索结果中消失。这一改变打破了过往惯例,可能与当前AI爬虫泛滥有关,迫使谷歌收紧访问协议。站长需立即创建该文件...

赞(0)ToyToy前沿 阅读(168)

网站保护机制Anubis:防AI爬虫的技术解析

该网站采用Anubis保护机制,以防止AI公司大量爬取内容导致服务器崩溃。Anubis基于工作量证明原理,类似Hashcash,对个别用户负担小,但对大规模爬虫成本高昂。此机制依赖现代JavaScript功能,需用户启用,并可能受JShel...

赞(0)ToyToy前沿 阅读(178)

GLM Claude Code · 国产平替不封号

官方 Claude Code 又涨价又要 KYC,封号还得重配环境?智谱 GLM 兼容 Claude Code,稳定不封号、价格友好,注册后把现有 Claude Code 工作流直接切过来继续用。

立即体验 GLM查看套餐价格