通过程序生成,InfiniDream可以产生开放式的摄影现实三维世界.

![抽象的程序性三维世界生成概念与线框对象,网格放置和符号代码模式]

标签描述: 字体的类型是什么? (Meta description) InfiniDream应用视觉语言模型,象征性资产生成和frustum引导的放置来创建可编辑的多样化的三维世界.

标签: 一个字母,一个字符号. (TG) " 视觉语言模型,三维世界,合成数据

InfiniDream程序式三维世界生成解决了合成数据和游戏开发中的实际缺口:如何生产可编辑的,多样化的,光现实的资产而不仅依赖预定义的工厂和 APIs .该框架围绕视觉语言模型构建,系统将文本指导与视觉理解连接起来,并从资产创建到完整场景建设.

背景:程序式生成面临一个简单资产瓶

程序生成在合成数据创建和游戏开发中很重要,因为它可以提供可控性,可编辑性和多样性的静态网格表示通常没有.然而这个领域显示了一个明显的差距.使用视觉语言模型来产生代码的系统经常创造相对简单的三维资产. 相比之下,复杂的光现实过程系统通常需要广泛的手动开发.

现有的以视觉语言模型为导向的程序方法也在很大程度上受到预定义工厂和 APIs 的限制.这种约束限制了可以生产的新型资产类型范围,而无需为每个案例建立新的规则.

发展:InfiniDream增加了象征性资产生成和全球配置

InfiniDream以视觉语言模型驱动的框架为开放式程序三维世界生成.第一个组件,Symbolically Constrained Asset Generation,使用现有的程序 algorithms 来创建新型,摄影逼真的资产.它保持了输出可编辑性并支持基于种子的多样性,因此创造者可以在仍然控制底层结构时改变结果.

第二个组件将资产创建与世界构造连接起来.InfiniDream使用一个端到端的文本向世界的管道,该管道结合了语义场景规划和Deterministic Frustum-Guided Grid Placement.这种方法旨在建立具有精确对象放置,程序人口和动画的大规模三维世界.工作流从文字指导转移到资产级生成,然后再到场景级组织.

评价:100个对象任务和20个场景任务显示收益

评估涵盖了100个对象生成任务和20个场景生成任务.在这些测试中,InfiniDream显示了四种感知指标的改进.该框架还通过多样性分析,废除研究和人类偏好评价进行了检查. 这些比较支持该框架在创建具有更可控放置和各种输出的三维世界方面的有效性.

这对程序世界产生意味着什么

对于遵循合成数据和游戏开发的读者来说,意义不仅在于模型可以从文本中生成资产.这是因为该框架保留了程序系统历史上交易过的两个品质:光现实输出和可编辑性.基于种子的多样性也帮助生成结果避免重复模式.与此同时,Symbolically Constrained Asset Generation和Deterministic Frustum-Guided Grid Placement表明视觉语言模型指导并不局限于预定义的工厂和 APIs .

随着对象数量,场景大小和动画需求的增长, 下一个信号是开放式程序系统是否能够保持这些收益.