莫赛克在多个会话中推进了 reinforcement learning 名代理

标签描述: (中文) 字体: * * * + * * 马赛克改进了Qwen3.5-4B的Multi-Session Agentic Reinforcement Learning在BrowseComp上的网络研究代理,使用会话比基线少.

标签: 一个字母,一个字符号. (TG) " 多会员代理 reinforcement learning , 马赛克,Qwen3.5-4B,浏览器

特色图片: 标签大小: 1 * 2 * 3 * 4 * 5 抽象技术风格:分层的会话时间表和优势曲线,

该论文提出了Multi-Session Agentic Reinforcement Learning,为AI代理提供了一个培训环境,其推出可以跨越任意数量的会话,并介绍了Mosaic,一个 algorithm 在这些会议中更精细地分配信用.对于网络研究代理来说,这一变化很重要,因为单一任务通常通过许多互动展开,并且将每个推出作为一种不分化的轨迹处理可能会掩盖哪些中间步骤有助于或损害最终的成功.

背景:从单个轨迹到多次会议

在代理培训中,推出通常被评估为一个轨迹:代理行为,观察环境并获得基于结果的优势.论文设置扩大了这种结构.每个推出可能包含任意数量的会话.每次会议由在一个连续积累的上下文中的代理环境交互组成.每一次会议最终对应于具有自己的分配优势的一个培训部分.

这种框架使训练问题更加细致.如果一个代理在几个会话中解决网络研究任务,最终的答案不会揭示哪个会议贡献了决定性的证据,哪个消耗了上下文,哪一个是相对中立的.拟议的设置为可以分别评分会议的方法创造空间.

Development Process: Mosaic如何重塑会话级信用

马赛克作为Multi-Session Agentic Reinforcement Learning的一般算法改进.它建立在轨迹级,基于结果的优势上,但通过成功/失败子组中的相对会话数量来调整它们,平衡效率和探索.

然后,该方法通过基准真相答案日志概率的变化来测量每个会话的边际信息获取.在这种情况下,日志可能性是指模型如何强烈地赋予正确答案的概率;会议之间的变化表明会话将模型向这个答案移动或远离了多少.Mosaic为每个提示组内的不同会话添加类型条件规范化,然后结合轨迹级优势和会话级塑造信号以估计每次会面的细粒度优势.

Latest Progress:Qwen3.5-4B 在BrowseComp深度搜索任务

评估使用BrowseComp,一个具有挑战性的网络搜索问题的基准和Qwen3.5-4B在React风格的代理循环中. ReAct風格意味着代理将推理与行动交错而不是仅产生最终答案.训练使用了来自REDSearcher的1,000深度搜索任务.培训和评价同时使用上下文压缩或子代理分叉执行循环.

在这些实验中,Mosaic在上下文压缩和子代理分叉场景中的表现都超过了广播基线,而平均使用的会话数量更少.结果表明,会议级信用分配可以改善学习信号而不需要每次推出更多的会谈.

Current Stage:精细颗粒剂培训框架

该论文将Multi-Session Agentic Reinforcement Learning定位为一个更一般的设置,使用Mosaic作为对多个会话产生的信用分配问题的算法回应.该项目的首页https://lark-ai-lab.github.io/Mosaic/包括一篇关于研究概述的博客.

设置将推出转化为会话序列,Mosaic测试更精细的会话级别优势估计是否可以改善学习.接下来要关注的是这些会议级信号如何扩展到较长的任务,不同的执行循环和额外的代理基准.