Skill2Env:从一般代理人的技能中合成以能力为中心的环境

简介: Skill2Env将技能转化为具有难度模式和 1.5K轨迹的可执行代理环境,改善工具使用代理人的后期培训.

标签:Skill2Env,代理人后期培训,可执行环境

特色图像:抽象的技术说明层次任务蓝图,工具接口和轨迹图;没有人,标志或文本.

代理的可执行环境是模型可以在几个步骤中规划,调用工具,读取输出和修改操作的测试台.如果没有它们,代理培训通常会接近仅文本模仿,这并不能教模型如何管理文件,与系统交互或从部分信息中恢复. Skill2Env框架通过从重复使用技能开始并围绕能力需求构建任务-环境对来解决这一差距.然后它使用1.5K高分轨迹从这些环境进行监督 fine-tuning ,这是一个以高质量示例为基础训练模型的方法,在广泛的代理基准上得到了一致的改善.

背景:代理人培训的瓶

代理人后培训取决于与真实工作相似的例子.一个有用的示例不仅是快速和最终的答案;它需要一种环境,使代理人能够行动,观察和判断.报告的问题是一个扩展难度:将可执行任务及其环境一起制作起来很难用手工构建.技能有助于解决问题,因为它们包含了可重复使用的领域知识,操作程序和工具使用说明.然而作为描述的一种技巧和具有可运行环境,明确接受标准以及足够困难以教导某事物的具体挑战之间仍然存在差距.

这就是为什么该框架被描述为以能力为导向的. Skill2Env 不是首先要求一个通用的任务,然后试图将技能融入其中,而是从技能开始并询问这种技能应该发挥哪些代理的能力. 培训价值来自于调整任务设计与代理需要改进的能力,而不仅仅是增加提示数量.

发展:将技能转化为任务蓝图

报告方法将能力需求转化为可重复使用的难度模式.这些模式成为任务蓝图.蓝图不是最终任务;它是塑造工作的规范.根据框架,每个蓝图涵盖目标,挑战,环境事实,信息边界和接受标准.

这种结构对读者跟踪代理数据质量很重要. 目标定义了成功的含义.挑战决定了认知和操作负载.环境事实使设置足够具体运行.信息边界防止任务泄露所有需要的答案.接受标准为评估人员提供了一个判断代理人是否完成工作的基础.

从这些蓝图中,Skill2Env指导在源技能周围联合构建几个部分:任务指示,执行基板,工作空间和基于标题的评估器.简单地说,系统建立了提示符,运行时或接口,其中发生动作,代理可以操纵的文件或状态以及检查结果的评分规则.

最新进展: 89代任务硬化和1.5K轨迹

报告工作流程的第二个关键部分是Iterative Task Hardening.这个想法是使用来自解决者执行的证据,而不是仅依赖初始设计.如果生成的任务不够困难,系统可以识别弱点,加强或扩展难度模式实例化,并修改蓝图和环境.

这创建了一个反循环. 一个任务的第一个版本可能会显示模型过于容易地解决它,不会留下任何有用的故障信号或依赖于缺失的环境细节. 硬化步骤通过调整任务来响应,使代理必须使用更多技能和更多环境.

对于报告的培训实验,从Skill2Env环境中生成了1.5K个高分数轨迹并用于监督 fine-tuning 次.该框架表示这些轨迹在广泛的代理基准指标上产生了一致的改进.它没有提供命名的基准或确切的得分,因此主要的事实的收获是轨道设定的规模和结果的报告方向.

当前阶段:读者应该关注的下一个问题

Skill2Env位于代理数据管道的实用点:在静态技能文档和可执行,可测量的培训环境之间.报告中的方法表明任务合成可以根据能力模式指导,然后通过执行证据进行改进.与一些一般预先培训机构相比1.5K这个数字很小,但对于代理工作是有意义的,因为每个轨迹可能涉及多个工具调用,状态更换和评估步骤.

下一个问题是这些环境在报告实验中使用的技能和基准之外传输得多好.读者应该观察类似的蓝图是否可以支持更复杂的工具,更长的视野和跨领域技能而不需要手写的环境构建. 在这个阶段,贡献是一种从技巧生成更难,可判断任务的方法,加上证据表明监督 fine-tuning 对1.5K轨迹的那些任务可以提高代理基准性能.