世界指南:一个以目标为导向的视频世界模型,用于执行程序任务
世界指南 (WorldGuide) 是MBZUAI-ORYX的一种目标导向的视频世界模型,它将程序性视频生成转换为闭环任务执行.ContextPlanner从产生的视觉状态预测下一个原子动作或完成 token ,而 Executor则作为视频剪辑呈现该操作.层次化的视觉内存在长时间推出时限制了 token 成本.由于现有的 datasets 缺乏阶段级行动视频监督,团队构建了 WorldGuide Bench 在27个过程类别中的245项任务中使用大约 59K 步骤注释的影片. 该模型在Video-C上实现 33.33% 任务成功 WorldGuide Bench 和 47.69%结果表明,通过阶段级监督进行规划可以改善程序性任务执行.
主要内容
- 世界指南 (WorldGuide) 是MBZUAI-ORYX的一种以目标为导向的视频世界模型,它将程序性视频生成作为闭环任务执行而不是固定的开环推出.
- 它结合了ContextPlanner来预测下一个原子动作或完成 token ,以及执行器以视频剪辑的形式染该动作,具有层次化的视觉内存限制长期推出 token 成本.
- 该团队介绍了WorldGuide Bench,一个 dataset 的约59K步骤注释视频,涵盖27个程序类别中的245项任务,以实现阶段级行动视频监督.
- 在WorldGuide Bench,WorldGuide实现了33.33%任务成功,超过 MiniMax -H3在29.90%,并在Video-CraftBench上达到47.69%,而仅限目标的条件是32.73%.
- 结果表明,关闭循环规划与阶段级监督对于程序任务比仅目标条件更有效,而长期可扩展性仍然是一个开放的问题.
MBZUAI-ORYX推出了WorldGuide,这是一个目标导向的视频世界模型,将程序性视频生成重新构成封闭循环任务执行而不是固定的开放循环部署.该系统配对了一个ContextPlanner (预测下一个原子动作或完成 token 从产生的视觉状态),与一名经过相同步骤级别演示以ed染该操作为剪辑的执行者进行训练.所呈现的结果然后引导下一步行动或触发终止,层次化的视觉内存保持长时间的发布成本在 datasets 4.
背景:为什么没有分层监督
大多数视频世界模型都会生成一个固定的序,而不会检查任务是否正在实际进行.程序性任务 (组装,煮饭,操作设备) 要求该模型根据它已经生产的内容决定接下来要做什么.WorldGuide通过将产生作为循环来解决这个问题:计划原子动作,染,观察新状态,重复或停止.为了训练这种循环,团队需要阶段级动作-视频监督,现有的 datasets 没有提供.
发展:世界指南板块和执行者
为了填补这一缺口,研究人员构建了WorldGuide Bench,其中包括大约59K个步骤注释的视频,涵盖27种程序类别中的245项任务.执行者接受过相同步骤级演示的培训,因此它染的剪辑与特定预测的动作相对应,而不是通用的延续.
最新结果:任务成功率
在WorldGuide Bench,世界指南达到33.33% Task Success,相比之下, MiniMax -H3的29.90%,它接收参考行动计划.在Video-CraftBench上,WorldGuide达到了47.69%,而只有目标条件下是32.73%.项目页面可见于https://mbzuai-oryx.github.io/WorldGuide,代码是在https://github.com/mbzuai-oryx/WorldGuide.
接下来要看什么
与 MiniMax -H3的比较值得注意,因为该基线被赋予了参考行动计划,而WorldGuide必须从生成的视觉状态中预测自己的下一个动作.Video-CraftBench 89 47.69%与32.73%之间的差距表明,循环闭式规划和步骤级监督优于程序任务上的仅目标条件化.分层视觉记忆是否扩展到更长的地平线和超过87万中的27个类别仍然是后续工作的一个开放问题.
Comments
No comments yet. Be the first to comment.