AI数据合规

亚马逊Amazonbot更新：终于开始遵守robots.txt爬虫协议

针对亚马逊爬虫Amazonbot长期无视网站抓取规则的争议，最新动态显示其已开始严格遵守robots.txt协议。此前，该爬虫因在未获授权的情况下抓取网站数据用于AI训练而受到广泛批评。此次行为修正意味着网站所有者现在可以通过配置标准协议文...