TraceDance:自动化从现实世界部署痕迹构建代理行为基准

Meta Description:TraceDance从252,557部署会话中构建了107个代理基准,并发现9个边境 LLMs 仅通过了26.7%的目标行为测试.

标签:TraceDance,代理基准,LLM评估,部署痕迹,工具使用

Featured Image:抽象的技术风格:会话日志流转为基准网格,没有真实的人,没有公司标识,没有文本.

TraceDance是一个代理系统,它将部署跟踪转换为在执行过程中观察到的不良行为的目标基准.这很重要,因为固定的基准套件经常错过了代理人在编码和一般工具使用中的特定失败方式,而开发人员需要测试他们在部署中遇到的行为.

从固定测试到部署轨迹

一个代理可以完成一项任务,但在执行时仍然表现出不良行为.传统的基准套件可以测量最终结果,但是它们并不总是捕捉到一个代理离开实验室后出现的狭窄操作失败.TraceDance从这一差距开始.它的前提很简单:如果一种行为值得避免部署,它应该成为一个试用案例.

这种框架将评估问题从仅询问一个代理是否达到正确的结果转移到询问它在特定时刻是否以特定,不必要的方式表现.对于围绕编码和一般工具使用构建代理的开发人员来说,这种区别可能比单个总分更重要.

使用TraceDance构建基准

该系统将部署跟踪转化为用户指定的不良行为的基准.为了使该过程高效,TraceDance使用Anchor-and-Confirm,它通过Flash large language model (LLM) 结合了可编程检索和候选级别确认.这意味着系统首先找到可能的跟踪段,然后询问Flash LLM,以确定候选人是否实际显示用户想要测试的行为.

对于自定义行为,Anchor Synthesis Loop生成和修改规范.循环是必要的,因为部署问题并不总是用现成的测试标签来描述.开发人员可能知道代理不应该采取某种行动,但确切的检验标准可能需要从实际例子中形成.

由此产生的基准使用决策点延续.在一个记录的决定点中,系统根据特定行为标题对LLM的下一次转进行评估.这避免了需要参考答案或环境重复,这对于复杂的代理会话来说可能是昂贵或不可能的.

在252,557次会议中的结果

编码和一般工具使用的实验采用了252,557个会话,并产生107个基准与4,125例.该过程满足了 95.3%个构建目标请求,表明大多数要求的行为测试可以从可用的痕迹中构造出来.

质量检查支持该方法.两个人类注释者在84%个样本实例中证实了所要求的行为.自动化评分器与人类通过/失败判断之间的协议相当于注释者的协议.这很重要,因为部署衍生的基准值取决于其标签是否反映真实的行为,而不是 JUST 一个方便的提取规则.

模型结果是更清晰的信号.九个边界 LLMs 平均通过率仅为26.7%.这个数字不证明这些模型不能完成任务;它表明它们经常在评估决策点上失败下一个转 behavior行为测试.跨行为的特定基准分析进一步揭示了当前 LLMs .作为代理人的表现方面的弱点.

这一阶段意味着什么

最好将TraceDance视为一种使代理评估更加操作的方法.它不取代广泛的能力基准;它增加了一种转换观察到的部署问题成可重复测试的方式.这可以让团队更清楚地记录哪些代理行为仍然脆弱,特别是在编码和工具使用设置中.

递归自我改进 (RSI) 的角度从这个角色中得出结论:如果AI系统可以帮助构建更好的AI系统,那么来自真实跟踪的目标基准就可以成为反循环的一部分.现在实际的问题是基于追踪的基准是否被广泛采用以改变代理失败的跟踪方式,以及边界LLM在特定行为测试中的通过率是否会随着部署证据成为评估的一部分而提高.