管:衡量尺寸距离的统一基准

百度描述:Pumpire是3D基础模型中测量点对距离的统一基准,使用6,400,100个场景和29个基线.

标签:基准,3D基础模型,点对距离,度量深度评估

一个抽象的3D传感器网格由半透明立方体和点线组成,

皮尔基准是图像和视频级3D基础模型中度量点对距离估计的统一测试.它很重要,因为距离是3D理解的一个基本属性,但一个模型在某个观点上看起来精确而在另一个方面不稳定.皮爾涵盖了使用深度先验的系统和没有这样做的系统,为研究人员提供了一个共享的比较框架.

为什么需要共享测试

一个点对距离估计询问两个点在现实世界单位中的距离. 在一个单一的图像中,模型可能依赖于尺寸线索,视角和学习先验. 在视频中,相机移动时同样的关系应该保持稳定,但小错误可以在各之间积累. 没有共同的基准,研究人员使用不同的场景,不同距离定义和关于深度的不同假设来比较模型. 结果是碎片化的评估. Pumpire通过定义共享任务解决了这一问题:预测现实世界的场景中两点之间的米数距离,然后检查这些估计是否适用于各种观点.

如何打造一个6,400-测量基地

基准是用手动收集的材料构建的.其核心 dataset 包含6,400从100个现实场景中绘制出来.这些以物理测量的点对距离进行注释.这一细节很重要.许多评估集依赖于合成几何或估计的地面真相,这可能导致模型是否错误或者注释不精确.物理测量使 dataset 更清楚地声称在现实世界中的可靠性.人工集合也意味着场景不是仅仅呈现环境;它们是可以通过直接测量来检查距离的空间.

数据结构从现实世界捕捉到距离注释:100个场景提供了材料,6,400带有观察结果,物理测量的点对距离定义了评估的目标.

29个基线显示的准确性和一致性

Pumpire不仅止于数据.该基准评估了29个基线配置.其范围包括图像和视频级的3D基础模型,并将使用深度先验操作的模型与没有深度前置运行的模型分开.这创建了一个双轴比较:模型形式和深度之前使用.分析检查了尺寸精确性,即测量距离对预测的接近程度,以及交叉视图一致性,也就是从不同的观察时相同距离是否保持稳定.

像Pumpire这样的统一基准可以以多种方式影响研究实践.首先,它为模型开发人员提供了一个更清晰的目标.如果一种方法改善了平均距离误差但在各个视图中失去一致性,则该基准暴露了这种权衡.其次,它让用户比较不直接相关的模型.一些系统可能是针对单个图像设计的,而另一些则使用来自视频的时间信息.一个共享注释格式可能会缩小这些方法之间的差距.第三,它阐明了深度先验的作用.如果具有深度 先验的模型与没有它们的模型表现不同,那么基准可显示这个假设有助于或伤害哪些地方.

在哪里抽的叶子3D foundation model 评估

目前,Pumpire处于评估基础设施阶段而不是单一的获胜模型.它的价值来自物理测量距离,100个现实世界的场景,890万和29个基线配置的组合.未来的工作可能会测试这个框架是否能够支持更多3D基础模型中的更广泛比较,特别是视频理解系统从感知任务向空间推理移动时.关键问题不仅是哪种模型有最低误差,而且哪种模式可以在各个视图中保持一致的尺度距离估计.