AI爬虫请用API，别抓我的HTML！

随着AI技术发展，大量爬虫过度抓取网站HTML内容，不仅效率低下还容易出错。本文作者以自身网站为例，详细介绍了如何通过多种API接口替代HTML抓取。作者网站提供WordPress JSON API、ActivityPub、oEmbed、纯文本等多种数据格式，并使用网站地图标准帮助爬虫发现所有页面。这种做法不仅减轻服务器负担，还能获取更结构化、一致的数据。文章呼吁AI开发者尊重网站设计，优先使用提供的API接口，而非简单粗暴地抓取HTML。对于关注网站开发、数据获取和AI应用的读者，本文提供了实用的技术指导和行业洞察，值得借鉴。