编码代理可以管理跨存储库的变更协调吗?

标签描述: 字体的类型是什么? (Meta description)
WideSWE测试了来自103个软件生态系统的120个交叉存储库任务中的编码代理,其中42.50%与Codex CLI和GPT-5.6-sol达到最佳完整成功.

标签:WideSWE,编码代理,跨存储库开发,软件基准, AI编码评估

主要图片:抽象的技术风格,没有真实的人物,没有公司标志,没有文字

WideSWE引入了一个测试编码代理的基准,即AI软件开发系统读取存储库,写补丁和运行测试,超越孤立的代码库并询问它们是否可以进行跨多个仓库的更改.设置很重要,因为真正的工程工作通常会跨过包边界,服务接口和依赖图,因此单次repo成功可能会夸大实际能力.该基准包含来自103个软件生态系统的120个现实任务,均地分为60个错误修复和60个功能,七种代理配置在10.83%到42.50%之间获得了完整的任务成功.

从单重复测试到生态系统现实

编码代理评估已经从解决单个问题转向执行更长的开发序列,但通常的测量棒仍然是一个代码库.这种方法适用于狭窄的修复,但是许多生产变化需要跨存储器协调编辑.一个功能可能需要在API服务,客户端图书馆和集成测试套件中进行更新.错误修正可能需要共享依赖性改变和下游呼叫者保持一致.当测试仅涵盖一个存储库时,代理可以显得有能力而缺失了更广泛的系统合同.

从103个软件生态系统构建WideSWE

WideSWE的作者在103个软件生态系统中挖掘和审查了变化,以构建保留这种跨存储器复杂性的任务.由此产生的120项任务是在60个错误修复和60个功能之间进行平衡的.提示来自相关问题和拉动请求,将基准建立在真实的开发人员意图上而不是合成提示.隐藏测试,即向代理人显示不出的评估测试被系统地检查并调整,以便它们可以接受多种正确实现,同时仍然保持所需的行为和回归检查.这给评价者一个更难的问题:不是代理人是否可以补丁文件,而是它能否完成一项触及几个仓库的任务而不破坏既定的行为.

最新结果:代理商仍在争夺存储库

在七种代理配置中,完全任务的成功率在10.83%到42.50%之间.最高速率是通过配置配对Codex CLI与GPT-5.6-sol实现的.扩散表明当前编码代理有时可以导航跨存储库的工作,但可靠完成仍然不常见.故障轨迹分为三大模式.一些代理无法识别仓库中的必要变化.其他人认识到所需的更改但是没有完成工作.还有人修改相关仓库而不完全满足请求,这表明了解范围和执行范围是一个单独的挑战.

进一步的比较是检查代理在一次处理一个存储库时是否表现更好,还是当联合处理相关存储器时. 在相同提示下,独立执行主要有助于恢复遗漏的工作. 它对纠正已经尝试过但仍未成功的变化效果不佳. 共同执行可以使用来自相关存儲庫的信息来指导实现和验证,并指出支持更广泛上下文而不是分散的地方修复的基准维度.

对于下一个评估阶段,WideSWE建议什么?

基准值不仅是现有代理商的新得分.它重新定义了软件生态系统周围的评估问题,其中正确性取决于多个存储库之间的协调.当前的数字将WideSWE置于诊断阶段:代理商可以解决一些跨仓库任务,但10.83%和42.50%之间完全成功的差距表明完成仍然不均.代码可在引用的https URL上获得,为其他团队提供复制任务集和比较新的代理设计的基础.接下来要关注的是未来的系统如何处理共享界面,依赖更新和跨存储器验证而不破坏现有的行为.