云聚 AI Token Plan 满 199 减 35 元
port:80 AI Junkie
AI 重度玩家的工程笔记本
DigitalOcean 开发者云

中山大学与阿里联合实测:AI编程“零回归率”普遍低于25%,Claude仅勉强及格

云聚 AI Token Plan 满 199 减 35 元

中山大学与阿里巴巴集团联合进行了一项大规模AI代码生成能力测试。研究团队从GitHub选取了100个真实Python项目样本,针对20个主流大模型进行了评估,消耗超过100亿token。测试核心关注“零回归率”(即修改代码时不破坏原有功能的能力)。结果显示,大多数模型的该指标低于25%,即便是表现最佳的Claude Opus也仅刚超过50%。这表明当前AI在处理复杂系统维护时存在明显短板,容易生成难以维护的“屎山”代码,其能力上限在很大程度上受限于软件架构的设计质量。

原文链接:Linux.do

阿里云 OPC 一人公司创业装备库
阿里云函数计算 一键部署 AI 大模型
赞(0)
未经允许不得转载:80aj » 中山大学与阿里联合实测:AI编程“零回归率”普遍低于25%,Claude仅勉强及格
赞助推荐 FoxCode Claude Code 稳定中转
阿里云函数计算 一键部署 AI 大模型

GLM Claude Code · 国产平替不封号

官方 Claude Code 又涨价又要 KYC,封号还得重配环境?智谱 GLM 兼容 Claude Code,稳定不封号、价格友好,注册后把现有 Claude Code 工作流直接切过来继续用。

立即体验 GLM查看套餐价格