中山大学与阿里联合实测：AI编程“零回归率”普遍低于25%，Claude仅勉强及格
中山大学与阿里巴巴集团联合进行了一项大规模AI代码生成能力测试。研究团队从GitHub选取了100个真实Python项目样本，针对20个主流大模型进行了评估，消耗超过100亿token。测试核心关注“零回归率”（即修改代码时不破坏原有功能的...
标签索引
零回归率
这个标签下有 1 篇文章。按时间回看相关判断与实践记录。
标签精选
标签索引
这个标签下有 1 篇文章。按时间回看相关判断与实践记录。
标签精选
中山大学与阿里巴巴集团联合进行了一项大规模AI代码生成能力测试。研究团队从GitHub选取了100个真实Python项目样本，针对20个主流大模型进行了评估，消耗超过100亿token。测试核心关注“零回归率”（即修改代码时不破坏原有功能的...