亚马逊Amazonbot更新：终于开始遵守robots.txt爬虫协议

针对亚马逊爬虫Amazonbot长期无视网站抓取规则的争议，最新动态显示其已开始严格遵守robots.txt协议。此前，该爬虫因在未获授权的情况下抓取网站数据用于AI训练而受到广泛批评。此次行为修正意味着网站所有者现在可以通过配置标准协议文件，有效拒绝Amazonbot的访问。这一转变不仅维护了网站管理者的权益，也为当前AI大模型在数据采集合规性方面树立了新的风向标。