被AI爬虫“逼停”：一位开发者无奈关闭运行15年的自建Git服务器

开发者 Gerd Hoffmann 宣布关闭其自 2011 年起运行的自建 Git 服务器，直接原因是疯狂的数据抓取 AI 爬虫。这些爬虫对服务器发起了海量的无效请求，直接压垮了其硬件资源。尽管作者此前已将主要代码仓库迁移至 GitHub 和 GitLab，但 AI 爬虫并未停止，数百万次返回 404 错误的请求仍迅速占满磁盘日志，险些造成博客服务瘫痪。这一事件深刻揭示了在 AI 大模型热潮下，无节制的网络爬虫正对中小型网站和互联网基础设施造成巨大破坏，迫使个人开发者无奈退守中心化平台。