教统一模型通过Interleaved进行原生反射 reinforcement learning

统一的 multimodal 模型能够同时看到和绘制图像,现在已经有了修复自己代数的一条具体路径.UMM-Reflection表明这条路径很重要.该方法训练一个单独的模型来诊断图片,修改它,检查结果并再次修订,而不是将反射和染视为独立的问题.在BAGEL上,全循环 reinforcement learning 提升了GenEval比监督 fine-tuning 12.05多点,其收益也达到了WISE,OneIG-Bench和T2I-bench+Comp+.

背景:自我修复需要共同的学习循环

一个统一的 multimodal 模型可以将图像作为输入,并产生一个图像为输出.原则上,这种双重作用使得模型能够检查自己的生成:它可以识别缺陷,编写修改,染新图像,然后评估修复是否有效.

难点在于时间.反射笔记可能听起来很有用,但它只有在图像染后才证明是有用的.如果反射文本和图像生成被单独训练,模型可能会学习不改善输出的自信诊断. 在反射轨迹上监督 fine-tuning 给系统提供了冷启动,但是它无法可靠地发现高成功修复路径. reinforcement learning 只优化染器或仅一个模型头部,留下了大部分潜在收益未开发,因为循环被打破为脱节奖励.

发展:UMM-反射训练整个修复轨迹

UMM-Reflection适用于在一个统一模型内完成反射轨迹的 reinforcement learning . 轨道是从初始图像到诊断,修改,染结果和后续反射的链.

设计使用共享一个初始图像的兄弟轨迹.由于起点是固定的,模型可以对同一视觉问题进行不同的反射策略比较.群体相对优势评估哪个策略更好,而一条轨道级别优势更新了 tokens 反射和基于流量的修订.这避免了逐轮分配信誉的组合式膨胀,其中每个步骤都需要单独的责怪或奖励.

结果是,学习信用流动跨轮并跨同一个模型的两个角色:反射作用和图像生成作用.与单回合编辑或带有外部批评者的管道不同,该模型不需要推断时验证器.修复循环是在统一系统内学习的.

最新进展:巴格尔分数上升和跨基准的转移

报告的收益来自BAGEL.UMM-Reflection比SFT提高了GenEval12.05点.这个数字是联合反射和染培训可以将统一模型超越监督冷启动的核心证据.

增长也超出了主要基准. WISE上升10.97分,OneIG-Bench上升3.48分,T2I-CompBench++上升4.63分.这些是单独的评估得分,因此该模式表明改进不仅限于一个狭窄的测试集.结果并不要求对所有 multimodal 图像任务进行普遍修复,但它显示全循环RL可以在多个基准中改善同一模型.

对于读者来说,增量是实用的:该方法将 multimodal 自我校正作为一个单一的优化问题.这对预计在没有独立检查器的情况下产生和审核视觉输出的系统很重要,因为每轮修复都可以影响下一张图像的质量以及未来反射的品质.

目前阶段:全循环RL成为下一个培训层

UMM-Reflection位于监督反射训练和外部评论管道之间.它保持模型统一,使用完整的修复轨迹,并在轨迹层面分配优势.BAGEL数字显示该方法可以产生很大的基准收益,特别是在GenEval上,同时保留转移到其他评估套件.

下一个问题是这种全循环模式在模型家族,图像域和更长的修订链中可以推广到多远.报告中的证据与命名基准以及 12.05, 10.97, 3.48 和 4.63 的点增益有关,因此最强有力的说法是联合反射-染 RL 现在是统一 multimodal 图像修复前进的一个可测量的步骤.

超级描述: BAGEL UMM-Reflection通过全循环 RL培训向 WISE,OneIG-Bench和T2I-CompBench++转移12.05 GenEval积分.

标签:UMM-Reflection,BAGEL,统一的 multimodal 模型

主要图片:抽象的技术风格,几何 neural network 节点和图像生成循环符号,没有真实的人物,没有公司标志,没有文本.