马拉链:将失败作为自我进化的催化剂 AI

研究工作 0 views

Mara Chain保留了AI个失败的候选和痕迹以进行改进,在没有权重更新的情况下改善AppWorld,TerminalBench,MuSiQue和基准.

主要内容

  • 在优化循环中, Mara Chain 保持了被拒绝的 AI 名候选人,推出痕迹和剩余故障,改进它们而不是丢弃.
  • 它是一个白盒,无重量更新框架用于优化技能,代理带和检索管道,使用固定的链深度和帕雷托过的Top-N选择.
  • 报告的收益包括AppWorld技能优化,比GEPA相对改进高达+20.5%,并减少了65.5%次推出,TerminalBench 2.1杆优化达到71.9%个通过率,以及MuSiQue检索优化提高nDCG@10 +0.104.
  • 这种方法在 GLM -5, DeepSeek 和 Qwen 中得到了验证,并与代码,论文以及可追溯的可视化图表一起发布,显示失败如何演变为更好的候选人.

Meta Description:Mara Chain一直拒绝了AI个候选人,并追踪它们进行改进,报告AppWorld,TerminalBench2.1,MuSiQue在 GLM -5, DeepSeek ,和 Qwen 上的收益.

标签: Mara Chain,AI优化,代理基准,检索管道

Featured Image: 有走廊,金色大厅和可追踪候选节点的抽象分支血统可视化器.

马拉链将AI个失败的提案转化为优化的步骤

Mara Chain是AI系统自动进化的框架,将失败的候选人保持在优化循环中.标准提出-评估-选择方法会丢弃每一个未能接受条的候選者,因此后来的提案可以继续重视相同的故障模式.Mara Chain反而保留了每个被拒绝的应聘者及其推出痕迹,结构分析和剩余故障一起,然后在同一小批量上代它.该代码发布于AntOmniEvo存储库中的https://github.com/ant-research/AntOmniEvo,其README包括快速启动,论文列为https://arxiv.org/abs/2609.35855.

背景:提议-评估-选择优化中的死胡同问题

Automated AI优化通常通过循环工作:提出候选技能,带或检索管道;运行它;评估结果;只选择超过门的候选人.被拒绝的应聘者通常从后续步骤中排除在外.这创建了一个狭窄的记忆力:系统从成功中学习,但不是从被驳回尝试中的痕迹,分析和剩余失败中学习.当相同的故障模式再次出现时,优化器可能需要重新发现它.Mara Chain以保留证据而非丢弃噪音来处理故障解决了这一问题.

发展过程:从被拒绝的候选人到精炼链

保留失败机制改变了搜索对象.被拒绝的候选人不会被删除;其推出痕迹,结构化分析和剩余故障仍然存在池中.然后该方法在同一小批量上代地改进该候选者,将一次失败的尝试变成一个踏板石.为了保持搜索边界,链深度是固定的,并且池由帕雷托过的Top-N选择限制.从实际意义来说,帕雷多过保留了那些未被更好的替代品明显主导的候選人,而 Top-N则限制了池的大小.

这种方法被描述为技能,代理带和检索管道的一个框架.它不需要重量更新并且完全是白盒,这意味着优化文物可以直接检查而不是隐藏在 model parameters 中.

最新进展:对三个优化目标的基准结果

对于AppWorld技能优化,使用相同的模型和相同的预算,Mara Chain报告了比最好的先前优化器高达+20.5% 的相对收益.它达到目标得分与GEPA相比减少 65.5% 次推出:3,280次推出 versus 9,514,以及11.9小时 vs 35.8小时.所有四个指标上的最佳最终成绩是89.9/83.9/76.7/59.0,而未经优化的基线则为48.2/35.7/33.3/19.4 .

对于TerminalBench 2.1带优化,报告的通过率为71.9%.这比AHE+20.2个百分点和Meta-Harness+22.5个百 分点更高,而使用的输出量则低于未经优化的基线 tokens .对MuSiQue检索管道优化来说,nDCG@10测试在手写管道上提高了+0.104,Recall@10改进了 +0.131.

跨模型验证和可视追溯性

该框架在 GLM -5, DeepSeek 和 Qwen 骨干上进行了验证,平均收益为 +40.3,+32.7 和 +23.4 的百分点.所述的含义是优化系统可以改进整个模型家族而不是依赖一个特定的骨干.

一个额外的龙.健身房可视化器代表了每个候选人作为一个正在升级的龙 ??:弱者在地下室训练,强者进入金色大厅.可视化的设备还显示了一个完整的血统树,使每一次修复都可以追溯.这种跟踪性很重要,因为该方法的价值来自于保留的失败,而不是 JUST 最终分数.

目前Mara Chain正处于公开的基准和文物发布阶段:它提供代码,论文以及技能,带和检索优化方面的报告收益.下一个值得关注的信号是固定链深度,帕雷托过 Top-N 选择和保留失败痕迹是否在应用到新任务套件或部署代理工作流程时仍然有效超出报告设置之外.

Tags: 代理基准马拉链AI 优化检索管道自行演变的 AI

Comments

No comments yet. Be the first to comment.

Leave a comment