进驻工程师健身房是AI交付的最后一英里

百度描述:FDE-Gym在实际交付任务上测试了AI名代理人.最佳模型得分为0.56,解决了95个任务中的14个,隐藏的约束仍然是主要瓶..

标签:AI代理商,FDE-Gym,代理商基准标准,客户交付,模型评估

主要图片: AI名代理商在模两可的客户交付工作流程中进行抽象技术说明,没有真实的人物,没有公司标志,没有文本.

FDE-Gym将AI名代理人置于前部署工程师的角色中,这是一位面向客户的技术工作者,他必须提供业务价值而不是完成清洁规范.这个基准很重要,因为它测试了当前代理系统经常缺少的技能:把一个模糊的,有时被误导的客户请求转化为类似生产的变更,改进客户关键绩效指标或KPI.

背景:现有的代理基准留下的差距

现有的代理商基准通常提供了一个明确的任务和成功标准.实际交付订单没有.赞助商可能会要求错误的结果,重要的约束可能不会声明,并且通过客户自己的业务指标来判断成功. FDE-Gym将这种模糊性适应到从18个部门20个客户场景中提取的95项端到端交付任务中.行业专家根据真实项目进行了调整,使得基准具有实用的交付形状而不是清晰的规范.

发展:FDE-Gym测试如何运行

设置改变了三种常规基准经常保持固定的变量.首先,代理必须询问脚本化的利益相关者,并且要求被视为昂贵,因此好奇心作为预算资源进行测试.其次,代理更改生产类型系统,这使任务更加接近实际交付工作而不是一次性规范.第三,性能由交付系统在持有数据上的客户KPI移动来衡量,其中0表示不变的系统,1代表专家参考解决方案.在13个模型配置中,结果显示任务完成和业务影响之间存在明显差距.

主要发现:隐藏的限制,而不是原始事实,驱动器故障

主要的瓶是发现从未声明过的约束.隐藏这些约束会导致领先模型0.28的成本,而误导请求增加了很少额外的损失.最高配置达到0.56,同时只解决95个任务中的14个.这个结果重新定义了成功意味着什么:即使最好的设置也完成了一小部分交付场景,但仍然将客户指标移动到 JUST ,超过专家参考的一半.

基准还将信息拥有与成功交付分开.在掌握每一个关键事实时,最好的模型仅在23个任务中的10项上达到0.8次提升.该结果表明,单靠事实并不能保证工作交付,因为代理商仍然必须在生产类系统内进行正确的更改并保护客户指标. 在某些情况下,较弱的模式会让客户处于比如果没有任何变化要糟糕的地方,这对于考虑在高风险环境中使用代理驱动的交付团队来说是一个实际的警告.

最新进展:排名表和人类健身房

目前的排行榜在https://fde-gym.com/paper/#leaderboard上.下一个公共里程碑是人类在线健身房,它于11月1日开放2026.这一补充为基准提供了一个比较框架:如果人体性能也暴露了,读者可以看到难度来自交付判断本身还是当前AI代理商处理不完整规格和系统更改的方式.目前,FDE-Gym标志着代理评估从清洁任务转向客户交付工作的阶段,但数据仍然表明模型能力与可靠的自主交付之间的距离很大.