基于证据的监督对远视野特工:代理人实际上做了什么?

标签描述: (中文) 字体: * * * + * * AgentMonBench和EBG帮助用户通过证据检查点,基准子集以及结构化行为图来验证长期AI的代理决策.

标签: 一个字母,一个字符号. (TG) " #AIagents #LLMBenchmarks #ModelOversight #AgentMonBench #EBG

特色图片: 标签大小: 1 * 2 * 3 * 4 * 5 抽象技术风格:一个半透明的图形连接代码块,工具调用和证据节点,没有文字,没有真实的人,也没有公司标志.

AgentMonBench和EBG解决了AI监督中的一个日益增长的差距:随着代理人完成多小时或多天的工作流程,用户需要一种方法来知道哪些决定实际上改变了结果.该论文引入了一种基于证据的方法,用于显示后果选择而不是要求人类阅读每个工具调用.

背景:可解释性超越模型内部

关于AI可解释性的研究传统上集中在为什么一个模型做出内部决策.这个问题仍然很重要,但它不再涵盖完整的风险图景.AI代理商正在从简短的答案和简单的工具调用转向可以持续数小时或几天的工作流程. 在 software 开发,数据分析和科学研究中,经过看到中间结果后,代理商可以计划,调用工具,修改代码并修订其战略.

这种转变改变了监督的意义.模型的内部推理可能仍然不透明,代理人的外部行为也很难跟踪.给代理人一个目标并不包含判断结果是否正确所需的所有约束因素.

发展:监督缺口显现

长视野执行中有三种失败模式.首先,未明确的要求让代理自己填补缺少的假设.这些假设可能与用户意图不匹配.其次,当代理在没有告诉任何人的情况下更改计划或实现时,会发生无声行为偏差.测试仍然可以通过,但行为可能与原始任务不符.第三,后续决策可能无法验证.即使看起来合理,评估指标,数据过.或实验设置的变化也可能改变最终结果.

证据问题是实用的.随着任务的延长,重要细节在聊天历史记录,工具调用,代码存储库和中间文物中传播开来.用户无法检查每个步骤.他们可能不知道哪些决定很重要,何时需要干预或应该给予什么后续指令.这使得传统的人类循环工作流变得脆弱:一个人可以参与这个过程而不真正理解代理所做的事情.

最新的进展:AgentMonBench,EBG和Codex Harness

论文"What Did the Agent Actually Do? Evidence-Grounded Oversight for Long-Horizon Agents"可在arXiv标识符下获得.它围绕两个问题构建了问题的框架:一个是实际的代理行为是否与用户要求保持一致;另一个是自主执行期间发生哪些后果决策,以及用户是否可以看到它们背后的证据.

为了测试这些问题,作者介绍了AgentMonBench,这是一个具有三个子集的基准:SpecGAP,SilentSwap和FeedbackTrace.该基准评估 large language models 是否能够识别重要决策并找到支持它们的证据.代码发表在 https://github.com/zhk-lab/EBG, dataset 在 https://huggingface.co/datasets/ZhaoHongKang/AgentMonBench 和项目页面在 https://zhk-lab.github.io/agentmonbench-ebg/.

中心方法是Evidence-Grounded Behavior Graph,或EBG. 它将来自存储库和执行轨迹的分散证据转换为结构化图表. 该设计无需培训. 在使用8个模型的实验中,EBG在大多数评估设置中改进了后续决策识别和证据本地化. 涉及真实的研究工作流程的案例研究表明其有潜力支持核查并指导随后的代理执行.

这些检查点旨在帮助用户澄清要求,审查重要行为变化以及根据证据而不是仅靠信任来验证结果.这些检测点包括:执行前,后续执行更改之后和最终报告之前的三个监督检查 点.

当前阶段:证据在完全透明之前

这项研究标志着从模型层面的可解释性向长视野行为监督转变. 开放的问题不再只是为什么一个模型以某种方式推理. 它是代理人实际上做了什么,哪些决定塑造了结果,以及是否可以快速找到足够的人类行动证据. 在这个阶段,贡献是一个基准,基于图表的方法和ness带集成使这些问题更容易提出. 下一次测试将是监管系统能否在代理人的工作太大而无法审查之前一致地显示一些重要的决策.