OmniXRef是一个统一的框架 multimodal 视频编辑与多个引用

OmniXRef 统一文本,图像和视频引用以进行多参考视频编辑

简介:OmniXRef将文本,图像和视频引用结合在一个传递中,控制动作,相机,风格,视觉效果和内容,同时保留源视频.

标签:OmniXRef,视频编辑 multimodal AI,传播 Transformer ,基准

主要图像:抽象的 multimodal 视频编辑管道,文本,图片和视频输入流向单一的 neural network 层,没有真实的人,没有公司标志,没有文字.

OmniXRef为 multimodal 多参考视频编辑提供了一个统一的框架,将任意数量的文本,图像和视频引用结合在一个传递中.价值是结构性的:而不是隔离风格,运动控制或相机变化在单独的编辑阶段,该框架将所有引用作为应用到源视频的一个编辑指令的一部分.

背景:为什么视频参考很重要

视频编辑请求通常同时包含多个限制.用户可能希望源片段在更改摄像头路径,添加视觉效果,调整运动和应用新风格时保持原始外观.文本或图像可以描述许多这些元素,但它们对时间细节的可靠性较低.

OmniXRef强调视频引用,因为复杂的视觉细节以及它们随时间变化的方式 (如摄像机移动,运动和视觉效果) 难以仅用文本或图片来指定.当目标编辑取决于时间而不是单一时,这使得框架具有更清晰的作用.

开发流程:每个引用一个接口

该方法以统一的表述开始.每个引用共享一个参考库接口,由任务定义,编辑指令和可选图像或视频组成.这种共同界面减少了不同输入类型之间的不匹配.

第二步是联合建模:一个交叉的序列编码了完整的编辑意图,并由单流扩散 Transformer (DiT) 处理.而不是运行分开的文本,图像和视频调节器,架构将所有引用一起阅读并一次性应用到源视频中.

培训设置也基于大规模合成构建.报告的数据管道产生了300多万个视频引用编辑示例.这些与700万个以文本为基础的编译示例相结合,生成约1000万个统一训练的例子.尺度很重要,因为多参考编辑要求模型学习独立属性如何相互作用:风格引用不一定取代动作,摄像头引用也不应该破坏源内容.

最新的进展:OmniXRef-Bench和报告的结果

该项目介绍了OmniXRef-Bench,这是一个跨动作,摄像头,风格,视觉效果和内容的125个案例评估套件.基准测量编辑忠实度,源保存以及包括时间一致性在内的视觉质量.这些指标表明框架试图平衡的是什么:遵循引用,保持源完整并呈现连贯的移动视频.

报告的结果表明,OmniXRef在任务特定基线上的表现优于Seedance 2.5和 MiniMax -H3 在参考依从性和源保存方面. https://oliver-cong02.github.io/OmniXRef.github.io/ 的项目页面收集了框架,基准和示例.

在这个阶段,贡献是一个基准统一的编辑框架而不是单任务编辑器.下一个值得关注的信号是当用户混合许多时间和视觉约束时参考银行接口如何表现,以及OmniXRef-Bench结果如何泛化到具有更复杂动作,效果和保存要求的源视频中.