传统的SWE-bench仅关注静态Bug修复,而新提出的SWE-CI基准更进一步,旨在评估LLM智能体在持续集成(CI)环境下长期维护代码库的能力。该测试跨越数月,模拟真实的软件开发全流程。实验结果显示,Claude 4.6在该基准中表现最佳,大幅领先开源模型,这有力地解释了为何开发社区对Claude的编程能力评价极高。
挑战代码长期维护!新基准SWE-CI揭示Claude为何备受青睐
未经允许不得转载:80aj » 挑战代码长期维护!新基准SWE-CI揭示Claude为何备受青睐
传统的SWE-bench仅关注静态Bug修复,而新提出的SWE-CI基准更进一步,旨在评估LLM智能体在持续集成(CI)环境下长期维护代码库的能力。该测试跨越数月,模拟真实的软件开发全流程。实验结果显示,Claude 4.6在该基准中表现最佳,大幅领先开源模型,这有力地解释了为何开发社区对Claude的编程能力评价极高。