云聚 AI Token Plan 满 199 减 35 元
port:80 AI Junkie
AI 重度玩家的工程笔记本
DigitalOcean 开发者云
Anyrouter 开放可编程的智能路由
共 13 篇文章

标签:AI爬虫 第2页

Forgejo AI爬虫防护:nginx配置实战

本文作者分享了保护Forgejo代码托管平台免受AI爬虫攻击的实用方案。他描述了AI爬虫导致服务器频繁宕机的问题,并尝试了多种解决方案后,采用了一个轻量级的nginx配置。该配置通过检查用户代理和特定cookie,若未设置则重定向至418状...

赞(0)ToyToy前沿 阅读(180)

AI内容保卫战:Fuzzy Canary工具阻止爬虫抓取博客

Fuzzy Canary是一款专门设计用来阻止AI爬虫抓取网站内容的工具。当前,AI公司正在大量抓取互联网内容用于训练模型,这让许多自托管博客作者感到担忧。该工具通过在HTML中植入不可见的链接(指向成人网站)来触发爬虫的内容保护机制,使A...

赞(0)ToyToy前沿 阅读(135)

AI爬虫请用API,别抓我的HTML!

随着AI技术发展,大量爬虫过度抓取网站HTML内容,不仅效率低下还容易出错。本文作者以自身网站为例,详细介绍了如何通过多种API接口替代HTML抓取。作者网站提供WordPress JSON API、ActivityPub、oEmbed、纯...

赞(0)ToyToy前沿 阅读(215)

GLM Claude Code · 国产平替不封号

官方 Claude Code 又涨价又要 KYC,封号还得重配环境?智谱 GLM 兼容 Claude Code,稳定不封号、价格友好,注册后把现有 Claude Code 工作流直接切过来继续用。

立即体验 GLM查看套餐价格