记忆:学习用于上下文压缩的剩余内存

简介:Remory将学习软内存 tokens 添加到压缩的摘要中,改善Qwen3.8-27B和 GLM -5.3-Flash长视野基准性能和工具可靠性.

标签:雷莫里,Qwen3.8-27B, GLM -5.3-闪光灯,长视野的代理人,内存 tokens

主要图片:抽象的技术风格视觉与内存 tokens 流入一个紧.总结,没有真实的人,没有公司标志,没有文本.

在Qwen3.8-27B和 GLM -5.3-Flash上,Remory通过将学习软内存 tokens 添加到压缩总结而减少重复的工具输出和工具错误来提高长视野基准性能.这很重要,因为代理系统在许多工具调用中经常失去状态.一个模型可以在数十个步骤中搜索,读取,编辑或查询API,如果先前的操作被过于激烈地压缩,它可能会重复同样的调用或选择不再适合任务的动作.雷莫里的方法为报告模型提供了压缩历史记录以及学习记忆信号,这可以帮助其理解已经发生的事情而不用原始文本淹没 context window .

背景:长视野工具使用的记忆瓶

长视野任务是作为代理使用的语言模型的自然压力测试. 一个简短的聊天可能只需要一个响应,但多步骤的工作流程需要内存:哪些文件被检查过,哪种工具返回了什么结果,哪些约束已经应用,以及哪些动作仍在等待.挑战不仅仅是上下文窗口有限. 原始历史可以变得杂. 工具输出的一个长日志可能包含有用的事实,陈旧的事实和重复性的标准表格. 当模型直接得到该历史时,它可能会把注意力集中到错误的细节上.当历史以摘要取代时,一些状态可能会消失.

"重复工具输出"一词描述了一个常见的故障模式:代理调用同一个工具,因为它没有意识到已经调用了. 工具错误可能来自于相同的混.,特别是当下一步操作取决于未被正确跟踪的结果时. 因此,压缩是一种权衡. 它节省上下文空间,但也可以删除代理需要清洁地继续执行的精确线索.

开发:Remory 在总结中插入学习记忆 tokens

雷莫里通过将学习软内存 tokens 添加到压缩总结中来解决这种权衡问题.在 machine learning 中,一个软的 token 通常是已知的矢量表示而不是词汇中的字面文字.这一区别很重要,因为记忆信号不一定是普通文本.它可以编码难以在自然语言摘要中表达的模式,例如之前的操作是否成功,收集了什么样的信息或应该作为当前状态处理哪个状态.压缩概述仍然提供可读的上下文,而附加的8830003则提供了一个能够影响模型如何解释该背景的学习层.

描述的机制将压缩总结作为可读上下文,然后添加 tokens .对于代理循环来说,这创建了两个极端之间的中间路径:把每一个工具输出带到前面,或者用可能失去微妙状态的简单摘要替换历史记录.目标是保留足够的操作内存以减少冗余动作和不正确的工具选择.

最新进展:关于Qwen3.8-27B和 GLM -5.3-Flash的结果

报告的结果集中在两个模型变体上:Qwen3.8-27B和 GLM -5.3-Flash. 在这两种情况下,Remory被描述为改善长视野基准性能,同时减少重复工具输出和工具错误. 这两个模型名称在这里是核心的,因为它们表明该方法与多个模型变量相关联.

更重要的信号是配对的改进.更高的长视野基准性能表明在扩展序列中完成了更好的任务.少重复工具输出表明模型正在更可靠地跟踪先前的操作.较少的工具错误表明模型更经常选择适合当前状态的动作.这些效应连接在一起.如果一个模型可以记住它已经搜索了一个页面,阅读一个文件或计算了一个值,那么不太可能再次调用相同的工具.如果它能记得哪个工具结果很重要,则不太有可能根据过时或不完整的信息采取行动.

目前的证据是狭窄的,因为只有两个模型名称和一个行为模式被指定.在材料中没有提供基准分数 ( dataset ) 或确切的任务套件,因此精确的改进幅度仍处于可用事实之外.然而,更好的长视野性能,少重复和较少工具错误的组合表明实际记忆改善而不是通用的总结技巧.

目前阶段:压缩-第一个内存层

在这个阶段,Remory看起来像是一个对代理模型的内存层技术,而不是一个新的模型家族或工具 APIs 的替代品.它的价值主张是紧.的:保持上下文小,但使压缩的环境更有用.核心机制"将学习软记忆 tokens 附加到紧.总结中",适合于更广泛的行业运动向智能体状态意识内存.

接下来要关注的是,这些收益在Qwen3.8-27B和 GLM -5.3-Flash之外的概括程度有多远. 下一个有用的问题是测试了哪些长视野基准,软 tokens 是否增加可衡量的延迟时间,当工具输出出现错误时该方法如何表现,以及当代理必须处理冲突状态时改进能否存活. If Remory可以减少更多模型大小和任务类型中的重复工具输出的数量和工具错误,它可能成为压缩记忆代理的一个实用的构建块. 如果它只对报告的两个变体有所帮助,它的作用仍然更为狭窄:对于特定的长视角工作流程而言,它是一个状态跟踪层.