从提示到构图:用于制作海报的空间画布接口

标签描述: 字体的类型是什么? (Meta description) 康波是一个从预训练的图像编辑模型中改造出来的海报生成模型,它使用Spatial Canvas Interface和四种绑定类型.

标签: 一个字母,一个字符号. (TG) " 图片编辑,文字规格

首选图片: 在线视频, 下载地址: http://www. 有半透明的边框,参考图像片段和层叠的矩形标记, 没有真实的人物,

作为一个海报生成模型,Compo将预先训练的图像编辑模型适应Spatial Canvas Interface及其相关的Text Specifications,避免特定任务架构设计.这种方法很重要,因为海报创建通常混合了概念,身份,精确文本和保存的像素,并将它们绑定到一个统一的图片输入中.

背景:海报工作流程不仅需要提示

制作海报是一项构成任务.布局可能需要一个概念在一个区域,另一个参考图像身份,特定位置的确切措辞和应保持不变的像素.传统编辑模型可以处理这些需求的一部分,但将它们结合起来通常需要额外的接口或架构工作.

Compo通过解释Spatial Canvas Interface及其相关的Text Specifications来解决这个问题,同时适应预先训练好的图像编辑模型而不需要特定任务架构设计.关键细节是结构性的:该模型将几个不同的指令视为一个统一的图像输入而不是作为单独的控件.

开发过程:一个统一的画布,而不是新的架构

组合从预训练的图像编辑模型开始,而不是构建一个新的海报特定网络.接口是适应点.在画布上,用户可以放置边界框,参考图片和文本标识符.这些元素直接染到Spatial Canvas,因此该模型会收到单个视觉对象而不是一捆断开提示或面具.

这种设计选择使生成任务以空间放置为基础.每个元素都有一个位置,并且每条指令都可以通过绑定与该位置联系起来.结果是一个工作流程,在生成开始之前可以将布局,内容,身份和文本一起表达出来.

最新进展:一个画布上的四张图纸

界面支持四种互补的绑定形式. Semantic Binding将文本概念与目标区域关联起来,让一个短语指导在所选区域内应该出现什么.Identity Binding将参考图像与地区联系在一起以保持其视觉身份,这对于海报必须保留特定对象或字符外观时非常有用.

Text Binding指定了精确的文本字符串和其所需位置,为模型提供了文字放置的直接目标.Pixel Binding直接将应该保存的视觉内容放在其中,标记需要保持完整的像素.这四个绑定涵盖概念,身份,精确文本和保留的像头,它们共享相同的画布而不是要求单独输入道.

当前阶段:用于制作海报的空间接口

由于没有特定任务的架构设计,主要创新是输入组织:边界框,参考图像和文本标识符成为单个统一的图像输入,四种绑定形式定义了该输入如何解释.

接下来要关注的是这个统一的画布在真实海报任务中如何表现,特别是当Text Specifications要求精确放置和Pixel Binding或Identity Binding与生成内容交互时.该模型的实际价值将取决于这些四个绑定可以在一个空间工作流程内保持多么可靠.