EmbodiedMemory-Bench:在长视野内嵌任务中评估体现的记忆

超级描述:EmbodiedMemory-Bench研究使用2,554个可执行插件的嵌入式存储器和一个具有空间,场景和事件记忆的框架.

标签: EmbodiedMemory-Bench, 体现的内存, AI代理商, 基准, 代理记忆

主要图像:抽象的技术风格,连接模拟代理和环境的记忆节点,没有真实的人,没有公司标志,没有文本

背景:记忆成为化身代理人的瓶

EmbodiedMemory-Bench为体内记忆提供了一个基准,即代理人保留和重复使用自己与环境的过去交互信息的能力. 与简单的数据库或提示历史记录不同,体内存必须经历反复操作,观察变化和部分反. 代理人可能需要回顾一个对象被放置的地方,场景如何改变,或者哪些步骤序列导致了结果.

该基准解决了代理评估中的实际差距.许多测试奖励模型在当下回答问题,而体现系统需要跨插件和环境采取行动. robot 或模拟的代理无法将上下文推向可能会重复错误,忽视先前证据或未能与早期状态连接现在的观察结果. EmbodiedMemory-Bench 将此作为一个可衡量的研究问题而不是一种含糊不清的预期.

发展过程:从基准到记忆框架

该项目将评估与一种方法相结合. EmbodiedMemory-Bench在四个记忆挑战中引入了2,554个可执行插件. 可执行插曲是交互实例,其中一个代理必须使用任务设置中的内存而不是仅描述它所记住的内容.

相关的框架,体现记忆器 (Embodied-Memorizer),将记忆组织成空间,场景和事件记忆.空间记忆涵盖了对象或地点之间的位置和关系.场景记忆随着时间推移保留了一个环境的结构和状态.事件存储链接行为,结果和时间序列.这种分解有助于研究人员确定代理是否失败是因为它无法记住某个东西在哪里,一个场景是什么样子,或者事件如何展开.

设计建议从将记忆视为单个缓冲区转向测试结构性回忆.而不是只询问一个代理是否具有长 context window ,EmbodiedMemory-Bench会询问它能否存储,检索和应用不同类型的经验.

最新进展:结构化代理记忆的测试套件

该基准为嵌入式AI系统提供了测量内存性能的共同依据.通过 2,554 个可执行插件,它为代理记忆提供了一个具体的评估表面,而四个内存挑战则将重点放在交互下召回上.Embodied-Memorizer为研究人员提供了一种结构化的方式来组织存储体验到空间,场景和事件记忆中.

对于研究人员来说,价值是诊断的.在短任务上表现良好但EmbodiedMemory-Bench表现不佳的模型可能具有上下文处理但是持久性内存较弱.使用Emmodied-Memorizer的系统可能会暴露出记忆中断的地方:缺失空间更新,陈旧场景表示或与未来决策无关的事件序列.

基准还设定了对未来工作的预期.如果记忆被视为一个单独的模块而不是事后考虑,评估可以将模型与更一致的证据进行比较.强调可执行插件很重要,因为只有当它改变行为时,记忆才变得有用.

接下来要看什么

嵌入式Memory-Bench最好被阅读为代理评估中的一个检查点.它不声称解决记忆; 它提高了如何测试记忆的方法.下一步将显示空间,场景和事件内存是否成为体现型代理的标准类别,更多的基准是否采用可执行插件测试,以及系统是否可以从召回信息转向在任务中可靠地使用其.