在不依赖时空先验的情况下进行密集对应匹配的可通用方法

标签描述: 字体的类型是什么? (Meta description) 免费匹配将密集对应扩展到编辑和生成使用基础表示,异质监督以及由教师指导的改进.

标签: 一个字母,一个字符号. (TG) " 密集对应,图像编辑,参考引导生成,基础表示,FreeMatching

首选图片: 在线视频, 下载地址: http://www. 两个由节点和流动线形成的连接视觉地图, 没有真实的人物,

背景:图像编辑背后的对齐问题

密集对应提出了一个简单但困难的问题:对于一个图像中的每个可见点,在另一个图片中哪个点描述了相同的东西?这个问题长期以来一直处于视觉计算的中心.早期系统通常通过局部特征匹配,几何约束和类别级假设来处理对齐.当物体具有同样的观点和外观时,这些方法可以工作,但是当光线变化,部分被遮住或目标需要不同的姿势时,它们经常会崩.

对于图像编辑,这种限制是实际的.用户可能希望将袖子从一件衣服转移到另一件衣服,移动背景元素或在改变其风格时保留对象的结构.为了可靠地做到这一点,系统需要源和目标之间的地图,而不是标题或全球相似度得分.密集通信提供了该地图.它连接图片中的区域,部分和像素,使输入之间的关系明确.

发展:从匹配信号到基础表示

该领域分阶段发展.第一阶段专注于匹配本身:在图像之间找到对应点.第二阶段扩展了可以作为匹配信号的内容.深度视觉特征使得比手工描述器更精细地比较外观和结构成为可能.后来,语义表示添加了一个层,帮助系统理解汽车门,衫袖或树枝即使他们的像素看起来不同也可以相符.

这一转变对FreeMatching很重要.该方法被描述为通过生成和语义基础表示扩展密集对应到图像编辑和参考引导的产生.这两种表示发挥着不同的作用.生成基础表示携带了用于合成的外观和结构信息,而语义基金表现则携带部分级和类别级意义.它们一起给出了一种对应系统多个方式来决定什么与什么匹配.

时间线的另一个部分是监督. 对应数据很少统一. 一些对可能来自同一类别,一些来自不同的观点,而有些则仅与部分相关的图像. FreeMatching使用异质对应监督,这是一种信号训练策略,旨在结合不同来源的对齐证据,而不是依赖于单个干净的 dataset .

最后的开发步骤是改进.通过匹配模型进行单次向前传递可以产生不完美的对应,特别是在复杂场景中.由教师指导的代改进建议一个循环,其中引导信号会在重复传输时改善初始匹配.结果不是新的任务列表,而是从匹配到生成的一个更强大的路径.

最新进展:免费匹配如何将匹配与代相连接

FreeMatching将密集对应置于两个视觉任务之间的桥梁:图像编辑和参考引导生成.在编辑中,对应帮助系统知道移动,替换或传输内容的位置. 在引用引导生成中,它可以帮助模型使用图像作为灵感; 参考可指导形状,布局或部分放置.

这项贡献既有组织性,也有技术性的.它将三个组成部分纳入一个框架:结合生成和语义线索的基础表示,接受混合对应信号的异质监督以及提高匹配质量的教师引导的代改进.这种组合很重要,因为编辑和生成经常在同一点上失败:模型可以创建可信的视觉图像,但不能使它们与预期源保持一致.

当前阶段:理解和创造的共享层

在这个阶段,FreeMatching 似乎是一种将密集对应扩展到匹配任务以外的编辑和生成工作流程的方法.它不会改变找到相应像素的基本任务; 它会改变这些对应如何被学习和使用.关键数量很小但清晰:两个应用领域,两种表示类型以及描述中的三个技术机制.

接下来要关注的是这种分层对应策略在受控设置之外的行为.真实图像含有模两可,遮蔽和弱监督.使用生成和语义基础表示,异质通信监督以及由教师引导的代改进的框架需要证明其调整仍然有用,当引用距离远,类别不同或目标图像大多是合成时.目前,核心想法很简单:更好的匹配可以使编辑和参考导向生成都更加可控.