自演代码代理:从数字程序到实体世界的智能

标签描述: (中文) 字体: ... " . " " " HexaAnything使用Physical Coding将RoboCasa365复合-未见的成功从34.3%提升到38.3%和总体成功从 56.6%提升至60.8%超过 XR -1 VLA.

标签: 一个字母,一个字符号. . . . ,. 物理编码, HexaAnything, RoboCasa365, XR -1 VLA,HexModel

首选图片: 在线视频, 下载地址: http://www. 一个抽象的代码网格, 带有链接节点和类似 robot 的路径.

Physical Coding是HexaAnything背后的组织理念,这是一种 robot 学习接口,将任务状态和执行表示为代码.最新报告的评估使其在RoboCasa365上获得了可衡量的提升:与原生 XR -1 VLA相比,复合-未见成功从34.3%增加到38.3%,总体成功由56.6%增至60.8%.这种转变很重要,因为它表明一个代码接口可以为实现任务执行添加结构,而不是 JUST 产生更流的语言或较长的动作序列.

背景:为什么代码成为 robot 接口

使用视觉语言动作或VLA模型的 robot 系统通常会将感知和语言指令转换为一个学习管道中的运动行为.弱点在于隐藏状态: robot ,可能知道接下来该做什么,而没有明确的可检查记录,说明了变化是什么,仍然被屏蔽的是什么以及计划是否仍有效.

Physical Coding通过将任务状态和执行视为代码来解决这个差距.在这种框架中,Code as World记录了对象,关系,约束和进展. Code as Policy组织了操作,验证和恢复.他们一起把 robot 的任务变成更接近一个可以检查,修改和重启的程序,而不是纯粹反应性的命令序列.

发展:利用,世界状态和政策循环

HexaAnything通过一个连接模型,工具和外部评估的.带实现了这个界面.该带为数据收集和反创建了一个共享路径,将模型行为,工具结果和评价结果联系起来.在这种设置中,可以检查世界状态,可修订策略,并根据失败或成功的情况来塑造下一个数据周期.

这一循环也塑造了训练信号.一个在 Harness 收集的数据上受过 27B HexModel 的训练,每次分割时都会比其基准模型有所改进.该结果将 Harness 所采集的数据置于报告的改进路径内,而不是作为单独的侧面活动.当评估对每个分裂中的模型与它的基础进行比较时,证据最强烈.

最新进展:RoboCasa365的收益和更广泛的证据

在 RoboCasa365 上,与原生 XR -1 VLA 的比较给出了最清晰的定量信号. 复合未见成功从 34.3% 移动到 38.3%,整体成功由 56.6% 到 60.8%. 这两种分割都指向同一个方向,这强化了代码接口在超越单个狭窄测试案例的情况下提供帮助的情况.

评估还包括工具修改,模拟科学实验和真实的 robot 执行.这些领域很重要,因为它们测试了不同的故障模式:修订后的工具会改变环境或接口假设;模拟实验需要结构化的程序跟踪;而真正的 robot ,则将传感器噪音,时间限制和物理后果带入循环中.综合起来,这些结果为Harness,数据,模型和工具改进提供初步证据.

更广泛的共同进化仍然是未来的工作.因此,当前阶段不是世界代表性,政策学习和 hardware 执行之间的完整闭环,而是测量的第一次通过.下一个证据可能来自于相同接口是否可以随着工具,环境和模型组件一起改变而不断改进,而不是它能否赢得另一个静态基准.