尽管大型语言模型(LLM)驱动的Agent在SWE-bench等基准测试中展现了强大的静态Bug修复能力,但成熟软件的实际开发往往依赖于复杂的需求变更和长期的功能迭代,这是传统的静态、单次评估模式所无法覆盖的。为了解决这一脱节问题,本文提出了SWE-CI基准。它旨在通过模拟真实的持续集成(CI)环境,全面评估Agent在维护代码库方面的能力,从而填补了当前AI编程评估与真实软件工程流程之间的空白。
尽管大型语言模型(LLM)驱动的Agent在SWE-bench等基准测试中展现了强大的静态Bug修复能力,但成熟软件的实际开发往往依赖于复杂的需求变更和长期的功能迭代,这是传统的静态、单次评估模式所无法覆盖的。为了解决这一脱节问题,本文提出了SWE-CI基准。它旨在通过模拟真实的持续集成(CI)环境,全面评估Agent在维护代码库方面的能力,从而填补了当前AI编程评估与真实软件工程流程之间的空白。