Forgejo AI爬虫防护：nginx配置实战
本文作者分享了保护Forgejo代码托管平台免受AI爬虫攻击的实用方案。他描述了AI爬虫导致服务器频繁宕机的问题，并尝试了多种解决方案后，采用了一个轻量级的nginx配置。该配置通过检查用户代理和特定cookie，若未设置则重定向至418状...
标签索引 / 第 2 页
AI爬虫
这个标签下有 13 篇文章。按时间回看相关判断与实践记录。
标签精选
相关内容
AI内容保卫战：Fuzzy Canary工具阻止爬虫抓取博客
Fuzzy Canary是一款专门设计用来阻止AI爬虫抓取网站内容的工具。当前，AI公司正在大量抓取互联网内容用于训练模型，这让许多自托管博客作者感到担忧。该工具通过在HTML中植入不可见的链接（指向成人网站）来触发爬虫的内容保护机制，使A...
AI爬虫请用API，别抓我的HTML！
随着AI技术发展，大量爬虫过度抓取网站HTML内容，不仅效率低下还容易出错。本文作者以自身网站为例，详细介绍了如何通过多种API接口替代HTML抓取。作者网站提供WordPress JSON API、ActivityPub、oEmbed、纯...