SpaceCast-Bench:在视觉语言模型中评估预测空间推理

标题:SpaceCast-Bench为视觉语言空间推理增加了89万个问题

Meta Description:SpaceCast-Bench测试视觉语言模型,使用3,862个问题在16种任务类型中进行静态感知,局部预测和全球空间推理.

标签:视觉语言模型,空间推理AI基准值预测空间任务 Hugging Face

Featured Image:半透明立方体,箭头和网格节点在数字景观中转变的抽象技术插图,没有人,标志或文本

SpaceCast-Bench是预测空间推理的基准,它要求视觉语言模型超越描述图像并推断空间转换的看不见结果.该论文介绍了3,862个问题分布在16种任务类型中,涵盖静态感知,局部预测和全球预测.对于关注 multimodal AI的读者来说,这项贡献是一个更清晰的测试,即模型是否可以将视觉证据与空间后果联系起来,而不是 JUST 产生流利的标题.

背景:从图像识别到空间预测

视觉语言模型是采用图像和文本作为输入并生成基于语言的输出系统.许多早期评估测量了模型是否能够识别物体,读取图像中的文字或回答可见细节的问题.这些任务仍然有用,但它们没有完全测试更难的能力:使用现在可以看到的东西来推理一个空间下一步可能发生的事情.预测性空间推理填补了这一空白.它要求模型考虑移动,排列,遮蔽,尺度或转换,然后推断一种未直接显示的结果.这种推理对操纵3D场景,支持导航或帮助用户理解物理布局如何变化的工具至关重要.

发展过程:围绕三个推理层次构建的基准

在SpaceCast-Bench论文中,通过三大领域来构建问题.静态感知提供了基础层:模型必须理解场景的呈现方式.局部预测向前迈出了一步,要求模型对场景的一个特定部分和空间变化的结果进行推理.全球预测扩展范围,需要模型考虑整个布置而不是仅一个物体或区域.基准包含16种任务类型中的3,862个问题,为评估提供了一个结构化提示集而不是单一模糊的分类.该任务很重要,因为它将基本识别失败与前.性空间推断失误区分开来.

最新进展:公共代码和 dataset 链接

发布的材料包括一个代码存储库在https://github.com/ZJU-REAL/SpaceCast-Bench和 dataset 在https://huggingface.co/datasets/hongxingli/SpaceCast-Bench. 该代码仓库和 dataset 提供与基准相关的公共材料. dataset ,将问题集绑定到16个任务类型中. 因为基准是围绕未见结果构建的,它的实际价值取决于稳定的评分以及跨静态,本地和全球类别的可比模型响应.

目前阶段:一个新的 multimodal 空间能力探测器

SpaceCast-Bench坐落在视觉理解和预测推理相遇的地方.它的3,862个问题和16种任务类型创造了一种常见的方法来检验视觉语言模型是否可以预测空间结果,而不是仅描述可见内容.下一个值得关注的信号不是单一的标题分数,而是评估下的三个推理区域如何表现:在静态感知上表现良好的模型是否也能成功地进行局部预测,以及全球预测是否显示出场景级推理中的独立弱点.