网站反爬虫升级：应对LLM训练数据爬虫激增

随着2025年初大量爬虫涌入网站收集LLM训练数据，网站管理员不得不加强反爬虫措施。这些爬虫多使用旧的浏览器用户代理，特别是Chrome版本，给网站服务器带来巨大压力。文章详细介绍了作者如何通过识别可疑浏览器版本来阻止这些爬虫，并特别指出archive.*等归档网站存在使用伪造用户代理和IP地址的问题。作者建议用户使用archive.org这一更规范的归档服务。文章揭示了AI训练数据收集对网站运营产生的实际影响，为技术社区提供了应对LLM训练数据爬虫的一线经验。