Opera:一个基于语言的长视野编码代理关键框架

Opera将编码代理的反转化为持续检查和更高的解决率

超级描述:Opera使编码代理反持久,使用类型操作员和审计来提高终端板2.1,SWE-Bench Pro和DeepSWE v1.1的解析率.

标签:Opera,编码代理,测试时间评论员,基准结果

主要图片:抽象的技术风格,没有真实的人物,没有公司标志,没有文字

背景:编码代理错过的反循环

对于长视野编码代理,最困难的部分不仅是写代码.它跟踪了什么已经被纠正,还有哪些需要注意,以及修复是否真正改变了潜在的问题.Opera编程代理反通过将每个更改作为一个持久的注释而不是一次性消息来解决这个差距.在最新报告的结果中,该设计显示出对终端板2.1,SWE-Bench Pro子集和DeepSWE v1.1中的解析率有可测量的影响,四个策略模型中有高达12.4,15.0和8.9点的收益.

这很重要,因为代理任务是多个步骤的.指出一个失败的测试或不匹配的接口的纠正可能在此时准确,但如果代理没有进行更改,同样的问题可以再次出现.因此,批评者的价值取决于它何时说话,它所说的话以及代理后来的行动是否证明了问题的解决.

发展:将纠正转化为持久的笔记

Opera的过程可以作为一个单一编码运行中的时间线来读取.首先,它决定何时审查工作.报告设计使用周期性和事件驱动触发器,因此它不仅等待固定间隔; 它还可以对代理执行的显著时刻做出反应. 其次,它诊断了类型操作符的问题. 这使得校正具有比自由文本更结构化的形式,同时仍然保留可由代理采取行动的口头反.

第三,Opera在发送之前对可见证据进行反审计.这一步骤对于可靠性很重要:一个没有检查可观察状态的评论者可能会增加噪音.第四,它跟踪代理人的后续行动以将真实修复与单纯遵守区分开来.代理人可以编辑代码,重新运行命令或确认笔记,但批评者的作用是确定确诊的问题是否实际存在.

作为测试时间的批评者,Opera 在代理工作时被使用.在报告的评估中,它在所有三个基准上都超过了竞争对手的评论基础线.当政策批评自己的时候也很有帮助,这表明即使代理已经能够自我审核,一个单独的评论员可以添加结构.

最新进展:基准收益和近在政策 training data

最具体的数字来自最新报告的测试时间结果.在四个策略模型中,Opera 在终端板2.1上提高了高达12.4点的解决率,SWE-Bench Pro子集上的15.0点和DeepSWE v1.1中的8.9点.报道的数据描述了已解决任务份额的增加.

第二个发展是与训练数据相关的.Opera 的指导推出也作为近在政策 training data . 近在政策意味着示例接近模型预期产生的行为,但不一定是由该确切模型生成的.当Qwen3.5-9B对这些推出进行了微调时,未经使用批评者的推断而提高了10.2点. 持久性表现指的是那些不是培训的一部分示例上的评估.

这一结果很重要,因为它表明批评者的过程可以改进底层政策,而不是在审查期间的最终输出.报告中的比较还指出,这个 fine-tuning 与更强型号推出的 fine-tuning 相匹配.当评估带发生变化时,差异出现了:不同于更强模式推广方法,Opera引导的微调模型在从OpenHands切换到Terminus-2时保留了性能.

现阶段:一个批评者将反转化为证据

当前阶段是由报告的基准和培训结果来定义,而不是描述的部署时间表.数字显示了两个相关的收益:更好的测试时间校正和更好的 training data .对于读者来说,增量值是从将代理反作为暂时评论对待到将其视为持久的可审计笔记,必须与后来的证据进行检查的转变.

接下来要关注的是这些基准收益如何转化为更多样化的编码任务,更长的会话和不同的.带. OpenHands与Terminus-2 的比较是一个具体的线索,即跨执行环境的传输可能是关键系统的关键测试. 在四个政策模型和三个基准中报告的收益确定了结果的规模,而10.2点持久SWE-Bench Pro改进表明在训练结束后同样的反循环也可能很重要.