我们的世界:将任何3D世界的动画转化为多样化的无限循环三维电影

研究人员推出了OuroWorld,这是一种无面具的框架,可以将任何静态3DGaussian Splatting场景转换为"三维电影图片",这是一个充满活力的动态环境.该项目详细介绍了https://ouroworld.userwei.com,解决了3D世界模型中的持续局限性:虽然最近的系统产生了摄影现实性的场景,但这些场景仍然被时间.结.

背景:为什么静态3D世界失败

3D Gaussian Splatting已成为从照片中重建光现实场景的标准技术.视觉语言模型在场景内推断了可信的动态,并引导视频模型合成参考视频.OuroWorld然后将该引用提升和完成为多视图视频,生成移动的场景.

核心挑战是监督质量.合成的参考视频不完美,在观点之间引入不一致性

欧元世界如何处理不完善的监管

为了从这种噪音信号中学习,该团队提出了不一致性-Robust Periodic 4DGS.两个组件完成了繁重的工作:一个保证循环的福里埃系列变形场和在参考视图上定的一种Grounded Drift Field,可以吸收交叉视图不一致.

这种设计扩展了系统所能表示的内容.与之前仅限于流体般运动的欧勒尔方法不同,OuroWorld捕捉到一般变形,物体运动和照明变化 - 实质上更广泛的动态范围.

评估和结果

由于对于这些案例不存在基准真实动态3D场景,研究人员引入了一个无基准真理的评估,涵盖了生动性,自然性,循环连接和场景质量.在39个重建和生成的场景中,OuroWorld超越所有基线并赢得70.8%到99.0%的用户学习比较.

需要注意什么

89000489890005的获取范围很广,这表明性能因场景类型而异. 福里埃系列循环保证是否在较长的序列或更具侵略性的相机路径下保持是一个开放的问题.项目页面是跟踪后续工作的地方.