在多个代理人的自我中心世界模型中微细的体现互动

标签描述: 字体的类型是什么? (Meta description) ME-World将自我中心世界建模扩展到多个代理人,使用同步的自我流,动作调节和体内代理人的一致性指标.

标签: 一个字母,一个字符号. (TG) " 自我中心的世界模型,多代理系统,体现AI,世界建模,ME-World

首选图片: 在线视频, 下载地址: http://www. 没有真实的人物,公司标志和文字.

ME-World是一个多个代理的自我中心世界模型,它将第一人称观察预测从单一代理扩展到在共享环境中行动的多个特工.这一变化很重要,因为自我中心的预测长期以来一直围绕着一个观众和一个动作流进行框架,而真实体现系统通常围绕其他移动代理 ( robots ) 或人类运行.ME-World的贡献不是 JUST ,这是一个新型号名称:它把预测重新构成了一个协调的问题,每个特工的观点必须与自己的行为以及他人的行为保持一致.

背景:自我中心的世界模式始于一个代理人

自我中心的世界模型预测了第一人称观察,条件是代理人的行为.这种表述对导航,操纵和规划很有用,因为它将感官预测与运动后果联系在一起.在单个代理机构设置中,该模型可以把世界视为主要通过那个代理商的选择而变化.摄像机角度,动作序列以及未来的观测都属于一个参与者.

大多数以自我为中心的世界模型集中在单个代理人的设置上.这种限制是结构性的.如果多个代理人移动,任何一个代理人的第一人称视图取决于不仅其自己的行为.其他代理人可能会阻止场景,改变布局或创建新的事件.当环境包含几个独立变化源时,只有一种行动流条件的模型就会变得不完整.

发展:共享环境暴露了三个一致性问题

从单代理预测到多代理预言的转变造成了3个一致性问题.ME-World的表述将它们变成明确的要求.首先,交叉视图行动的一致性:每个代理的预测第一人称观察必须与代理所采取的行为相匹配.第二,共享环境的一致化:分离的自我流必须描述一个连贯的世界而不是几个脱节的模拟.第三,相互作用诱导状态更新的持续传播:当一个代理作用时,后果必须流入其他代理的未来观测中,而不是在单一观点上孤立.

这些要求解释了为什么多个代理人的自我中心世界建模比生成几个独立的第一人称视频要困难.挑战不仅在于视觉现实主义.它是跨观点,身份,行为和状态变化的关系一致性.

Latest Progress: ME-世界同步自我流并增加评估指标

提出的系统通过为多个代理生成同步自我流来解决这个问题.ME-World不把每个观点视为独立预测任务,而是使用一个共享的 token 序列将信息传递给各种代理.每个代理的流是根据自己的行为进行条件化的,而共同表示允许其他代理的行动影响状态.这是核心架构上的转变:第一人称预测成为联合建模任务.

评估遵循相同的逻辑.该模型在2种数据上进行训练和评价:真实和合成多代理数据.这项工作还引入了涵盖环境一致性,更新一致性和身份一致性的共享世界的一致性指标.这些指标旨在测量产生的流是否保持彼此对齐,与代理身份以及相互作用引起的状态变化.

报告的实验显示在这些一致性方面有所改善.可用的摘要没有提供数值基准得分,因此贡献的是一致性框架本身而不是公布的评分表.

Current Stage:协调第一人称预测的框架

当前阶段是多代理自我中心世界建模的模型和评估框架.它的价值在于使从一个观众到许多观众的过渡可以进行测试:同步自我的流,共享 token 调节以及一致性指标为研究人员提供了一种具体的方式来比较多代理预测系统.

对于读者来说,体现的AI正在从询问 robot 在移动时会看到什么转变为询问几个代理人在移动,反应和干扰时会看什么.ME-World并没有消除真实世界部署中的不确定性,但它澄清了技术要求:每个观点必须与行动,身份以及共享状态联系在一起.下一个问题是一致性的收益是否跨越更复杂的场景,更长的视野和更丰富的代理互动.