GeoVerse:用世界的一致性在几何潜伏空间中的新视图合成

超级描述:GeoVerse使用几何隐性 diffusion model ,Wan2.2 VACE外观先验和全球空间内存来改进稀疏图像新视图合成.

标签:GeoVerse,新视图合成,3D foundation model ,扩散模型

精选图片:抽象的技术风格可视化稀疏摄像头观看,3D点云,隐藏扩散网和共享空间内存,没有真实的人,没有公司标志和文本.

GeoVerse 是一种用于从稀疏图像中合成新视图的框架,它试图保持观察到的场景结构完整而在没有摄影机捕捉到的区域发明可信细节. 在报告的评估中,它在DL3DV上提供了比GLD高2.23 dB的PSNR和Mip-NeRF360下降了32.4% ATE. 这些数字很重要,因为该领域已被划分为几何谨慎的方法和视觉有说服力的方法,稀薄图像3D工作需要这两种方法.

背景:可见与不可见之间的权衡

这个任务从一个场景的几张图像开始.系统必须呈现与这些输入保持一致的新视角.这在捕捉有限的工作流程中很有用,例如3D内容创建和沉浸式媒体.挑战是,一小部分观点只包含某些地区的真实证据.其余部分必须推断出来.

以几何学为重点的方法很好地保留被观察到的表面.它们将重建固定在相机输入上,这有助于保持尺寸和结构.但是当摄像头移动到未见区域时,这些相同系统可以努力以令人信服的方式填补缺少的视觉内容. 视频生成模型解决了部分问题. 他们可以产生现实的纹理和可靠的场景细节. 然而,当他们生成一连串视图时,错误可能会复合起来. 每个新本身看起来都很吸引人,但es集可能不再描述一个稳定的3D场景.

开发过程:首先是几何学,再注入外观

GeoVerse通过将几何骨干与先前的外观相结合来解决这种分裂.生成过程在预训练3D foundation model 的几何隐藏空间内运行.这给了系统一个空间参考框架,而不是从孤立图像合成开始.

外观方面来自Wan2.2 VACE.该框架从这个视频生成模型中提取多层特征,并通过一个ControlNet风格的适配器将它们注入到几何潜伏 diffusion model .这包含了视频学习的外观先验来增强结构完成而不过置基础几何学.

第二个主要组成部分是全局空间存储器.它汇总了观察和合成的内容.记忆重新投射目标对齐的指导,以便以后生成的视图被定在共享场景表示上.这旨在防止每个新观点从以前设定的场景中漂移出去.

最新进展:DL3DV和Mip-NeRF360的结果显示

在各种 datasets 的广泛实验中,突出的结果是DL3DV和Mip-NeRF360.在DL3dv上,GeoVerse记录了比GLD高2.23 dB的PSNR.PSNR (峰值信号噪声率) 是图像保真度得分;更高的值通常意味着合成视图与参考视图相近.在MiP-NeRf360上, GeoVERSE记录的ATE低于GLD 32.4%.ATE (绝对轨迹误差) 是轨道调整的一个较低的最佳衡量标准,因此报告中的增益表明整个视图具有更强的几何一致性.

两种指标的使用都很重要.PSNR捕捉到单个图像与参考质量相匹配程度,而ATE则捕获了合成序列与预期视点轨迹保持一致程度.一种方法可以改进一个并回归另一个,这就是为什么对联结果比单一的视觉质量得分更有信息性.

目前阶段:一个联合的几何和外观评估

GeoVerse现在正处于一个阶段,稀疏图像新视图合成正在作为联合几何-外观问题进行测试.该方法在DL3DV和Mip-NeRF360上所报告的收益表明,几何隐性空间,视频衍生外观先验以及共享空间内存可以提高重建保真度和交叉视图一致性.当输入更少时,当场景含有更多模糊纹理时,以及当全球空间记忆必须扩展到更大或更动态环境时,这些收获如何保持稳定是悬而未决的问题