用于多回合图像编辑的自蒸与定向采样

关于代图像编辑的研究已经从单回合成功转向一个更困难的实际问题:模型在多次连续编辑后如何表现.MT-OPSD通过对模型自己的编辑状态进行训练来解决这个问题,而LME-Bench则用100个十回合编辑会话测试长视野稳定性.对于那些通过重复提示来改进图像的用户来说,结果很重要,因为系统可以在一条命令之后看起来可靠,但在短时间的跟踪后仍然无法控制图像.

从一次性胜利到多次失败

基于指令的图像编辑工具通常在单个提示后进行评估,例如改变背景,照明或对象放置.这种设置是有用的,但它与许多实际工作流程不匹配. 在实践中,人们经常要求一个更改,检查输出,然后根据第一个结果请求另一个更换. 这创建了一个递归的编辑过程,其中每个指令都应用于之前的输出而不是原始图像.

源材料描述了一个明确的故障模式:在单回合编辑中表现良好的模型可以在递归编辑下迅速退化.这种崩.不是 JUST 一个小质量下降.它表明,一旦模型必须反复采用其自身不完美的结果作为输入,调节链本身就变得不稳定了.

为什么递归编辑会破坏训练设置

这种失败的解释是调节分布中的火车测试不匹配.在训练过程中,许多图像编辑模型被显示清洁的源图像,然后要求生成编辑目标.然而,在推断时,多转会将迫使模型对其自身产生的图像进行条件化,这些图像可能包含文物,错位细节或其他缺少于训练期间的错误.

这在顺序生成任务中是一种熟悉的分布转移.模型从稳定的输入分配中学习,但是在不断变化的情况下运行. 在代图像编辑中,这个问题尤其明显,因为可视错误可以积累起来. 一个小文物可能会被强化到第二回合,从而使后来的指令更难遵循.

MT-OPSD和LME-Bench将测试转移到十轮

MT-OPSD用在政策上的自蒸来应对这种不匹配. 在这个框架中,模型是通过自我生成的调节状态进行训练的,这意味着它学会处理的输入更接近于其实际上将在多轮次会议中看到的输出. 编辑监督来自一个有干净条件的教师,并且该方法不需要多轮注释.

评估还引入了LME-Bench,这是一个100个十转编辑会话的基准标准,旨在测量长视野稳定性.这将测试从"模型能否遵循一条指令?"转变为"模型可以通过连续的编辑保持可靠吗?".三种编辑骨架上的实验报告说MT-OPSD大大提高了长视界编辑成功并减少了多回合崩,同时很大程度上保留了单次编辑质量.项目页面是https://liangbingzhao.github.io/MT-OPSD/.

最新的研究结果表明

这项工作的当前阶段既是诊断性的,也是建设性的.它确定了代图像编辑中的特定故障模式,并提出了一种训练方法和测试它的基准.关键数字是具体的:在LME-Bench中进行100次十转编辑会话,报告的实验中有三个编辑骨干,以及一种在没有多转注释的情况下对自生成状态进行训练的方法.

下一个信号将来自于长视野编辑工具是否可以超越基准评估并保持日常创作工作流程的稳定性.这项研究指出了一个更明确的要求:强度应在序列中测量,而不仅仅是在第一个提示之后.

标签描述: (中文) 字体: * * * + * *
MT-OPSD和LME-Bench通过对自生成状态的培训, 在教师监督下解决了十次代图像编辑崩.

标签: 一个字母,一个字符号. (TG) "
代图像编辑,MT-OPSD,LME-Bench,根据政策自蒸发,长时间可靠性

首选图片: 在线视频, 下载地址: http://www.
没有真实的人,没有公司标志,没有文字