AI编程 · 架构思考 · 技术人生
共 7 篇文章

标签:AI爬虫

Forgejo AI爬虫防护:nginx配置实战

本文作者分享了保护Forgejo代码托管平台免受AI爬虫攻击的实用方案。他描述了AI爬虫导致服务器频繁宕机的问题,并尝试了多种解决方案后,采用了一个轻量级的nginx配置。该配置通过检查用户代理和特定cookie,若未设置则重定向至418状...

赞(0)ToyToy前沿 阅读(50)去评论

AI爬虫请用API,别抓我的HTML!

随着AI技术发展,大量爬虫过度抓取网站HTML内容,不仅效率低下还容易出错。本文作者以自身网站为例,详细介绍了如何通过多种API接口替代HTML抓取。作者网站提供WordPress JSON API、ActivityPub、oEmbed、纯...

赞(0)ToyToy前沿 阅读(72)去评论

十年稳如初 — LocVPS,用时间证明实力

10+ 年老牌云主机服务商,全球机房覆盖,性能稳定、价格厚道。

老品牌,更懂稳定的价值你的第一台云服务器,从 LocVPS 开始