InfiniHand:从自我中心视频实时世界空间手动估计

超级描述:InfiniHand从未校准的自我中心视频中估计了世界空间手动,MANO参数,摄像头轨迹和手部位置,达到11.19 FPS .

标签:InfiniHand,自我中心视频,手姿势估计,世界空间跟踪,北极基准

精选图片:抽象技术图像显示流点云,手骨架线和相机轨迹路径,没有真实的人物,没有公司标志,没有文字.

InfiniHand是一个端到端的流媒体前框架,用于直接从未校准的自我中心视频中估计世界空间中的手动.该系统共同恢复MANO参数 - 手势和形状的参数表示,摄像头轨迹以及手部位置.它的价值在于用一个架构替换单独的手势估算和相机运动跟踪模块,减少错误积累和计算开销.

背景:手持摄像机估计差距

在InfiniHand之前,从自我中心视频中估计世界空间手动的任务有两个紧密相关的问题:恢复3D 3接手形几何和跟踪摄像头自行运动.许多先前的系统将它们作为单独的阶段来解决.他们经常使用SLAM或同时定位和映射组件连锁独立的手姿势估算器.这种设计使管道复杂化并造成了明显的弱点.一个阶段的错误可以传递到下一步,导致错误积累.它也带来了严重的计算开销,因为每个模块都是自己的过程而不是一条流.

实际结果是有限的稳定性.第一人称视频流通常缺乏摄像头校准,移动快速,并近距离显示手.当单独估计相机轨迹和手体几何时,最终的世界空间手部运动可能会漂移,特别是在更长的序列中.

发展:一个统一的流媒体框架

InfiniHand采用一个用于流式使用的单一前框架来响应.它将持久时空记忆与以手为中心的视觉特征集成.该架构明确地将摄像头运动与本地手形几何相结合,而不是把它们当作独立任务处理.这种配对是方法时间线的核心:首先,系统学习了手看起来如何相对于摄像机;后来,它扩展到世界空间重建中.

训练遵循两个渐进的阶段.在第一阶段,InfiniHand学习了强大的摄像机空间手先验.这些先验有助于它从附近的第一人称视图中了解手形状和姿势.在第二阶段,,该模型被扩展到流动世界空间重建,其中必须将手位置和相机轨迹一起估计.为了支持这一分阶段发展,作者总结了一组预训练库约5,000小时的自我中心数据跨多个公共 datasets . 该集体使模型在世界空间流媒体阶段之前广泛接触手-摄像头交互.

最新进展:基准收益,11.19 FPS ,以及世界空间稳定性

最新报告的结果使InfiniHand在域内基准上领先于最先进的基线. 在PA-p测量的ARCTIC基准中,Infini HAND与ViDiHand相比降低了21.4%. 这一数字表明收益不仅是质性的:该系统减少了用于评估的特定错误指标. 该框架还大大减轻了世界空间漂移,这是早期级联管道的主要故障模式之一.

速度是另一个标题.InfiniHand在11.19 FPS 上运行,提供了HaWoR的两倍以上的吞吐量.对于自主化的视频流媒体,吞吐率很重要,因为模型必须与传入保持同步,同时维持手形状和摄像头轨迹估计值.因此,前向输送流设计对实时管道比重多级系统更有用,即使精度提高.

除了基准性能外,评估还指出对野生视频的强有力的概括.这很重要,因为自我中心录音在观点,手部位置,照明和摄像机移动方面存在广泛差异.一个以大约5,000小时公众自我中心数据进行训练并围绕持久记忆结构化的系统可以超越受控的基准剪辑.

在这个阶段,InfiniHand代表了从分手姿势和摄像头跟踪管道向统一的流媒体世界空间估计器的转变.据报道21.4% ARCTIC PA-p减少,11.19 FPS 吞吐量以及5,000小时预训练群体定义了其当前位置:一种联合估算MANO参数,相机轨迹和手部位置的方法,同时降低未校准自我中心视频中的漂移.