阿贡是为了帮助您解决最具挑战性的问题而设计的.

阿贡使用视频在几个小时内训练阿波罗 robot 号

简介:Argon使用原始的Cornhole视频,空间映射和自主模拟代码来训练Apptronik的阿波罗人形机器人.

标签:阿尔贡,机器人开发,阿波罗人类型号,ERQA基准,模拟管道

特色图像:抽象技术风格,显示 robot 臂和模拟网在一个模糊的玉米洞目标上,没有人,标志或文本

背景:机器人技术需要从视频到行动的更快途径

阿贡机器人已经向前迈出了一大步,展示了一个视频可以转换为 humanoid robot 的训练代码.更广泛的目标是加快整个机器人的发展速度,将先进的视觉语义推理,深刻的物理理解和自主编码生成结合在一起.这种组合被认为是一种解锁新工作流程并加速进入物理 artificial general intelligence 的方法.

对于机器人来说,这种组合的价值很简单: robots 必须感知物体,推断物理学并通过空间移动身体.基准分数显示了推理方面,而管道则表明推理是否可以成为代码.

该功能部分通过Embodied Reasoning基准测量,称为ERQA. ERQA测试模型在3D环境中理解和解决物理空间问题的能力. 在该基准中,据报道,当依靠纯理性推断时,Argon的表现优于所有其他前沿模型,得分为87%.

发展:从观察到模拟

演示从基准性能转移到具体的物理任务.Argon被测试了它仅通过观看来学习分布外技能的能力.源材料是人类玩玉米洞的原始视频,这是一款需要判断距离,高度,力度和目标位置的游戏.

脱离分发条件是核心的. 这意味着系统不仅只是重复熟悉的任务; 它被要求将技能从人类运动转移到 robot 运动中.

在内部测试中,Argon首先绘制了环境的空间坐标.然后计算出重现动作所需的全身关节运动.此后,系统自主构建模拟代码,为物理 robot 创建虚拟训练路径.

最新进展:七次射击和一个新的训练循环

模拟行为被转移到Apptronik的阿波罗人形.在现实世界中, robot 快速下沉了七次连续拍摄.这一结果为工作流提供了一个实际测试点:该模型不仅描述了一场景;它将观察到的人类运动转换成可执行的 robot .

连续七次拍摄是过程的可见终点. 在此之前,模型必须解释视频,估计空间关系并定义关节运动. 此后,模拟必须由物理机器使用.

该团队将整个过程称为视频到模拟到实体管道.其主要影响是时间.数周的手动仿真建模被压缩成几小时.普通视频成为可扩展,无限的机器人训练场地,而不是人类审查者的孤立例子.

当前阶段:一个压缩的工作流程,而不是完成的 robot

阿贡的结果指向了一个机器人开发模型,其中观察,空间推理,代码生成和物理传输在一个序列中联系在一起.基准得分,玉米洞视频测试以及连续七次拍摄一起显示工作目前的位置:从视频到模拟到真实 robot 行动的更快路径.

因此,目前的阶段是工作流程证明而不是一般部署要求. 它表明原始视频可以成为模拟代码,然后变成现实世界的行为,同时开发者博客解释了机器人发展速度可能会如何改变.