通过复合优惠和标题奖励进行培训后最先进的 text-to-image 模式

混合奖励提升FLUX.2-dev和 Ideogram 4的69竞技场点

Meta Description:混合偏好和标题奖励提高了FLUX.2-dev的69个竞技场积分,并在盲人测试中推进 Ideogram 超过列出的 open-source 模型.

标签: text-to-image 培训后,奖励模型,FLUX.2-dev, Ideogram 4,竞技场排名

主要图片:抽象层次的闪光节点网络和提示 tokens 在蓝色和银色,没有人,标志或文本.

一个新的 text-to-image 后训练配方认为,仅人类偏好不足以指导图像模型.该方法结合了在500万人的投票中培养的偏好奖励模式,并为即时忠诚和约束满意度提供标题奖励,然后添加反回报黑客门和重量平均值. 在现场盲人评估中,这种方法改进了已经强大的模型:FLUX.2-dev获得69分竞技区积分,而经过训练的 Ideogram 4超过了截至9月4日Image Arena 排行榜上所有公开列出的 open-source 型号.2026

背景:只有优先培训的局限性

text-to-image 系统通常在训练后通过使用人类反来调整.偏好数据可以告诉观众更喜欢哪种输出模型,但该信号可能是广泛的.图像可能看起来具有吸引力,同时仍然缺少提示细节,忽视风格要求或打破明确限制.这尤其重要是在生产中使用,其中提示可能一次包含多个条件.

这项研究将此作为一个核心的培训后问题:仅基于偏好构建的奖励模型可能会优化品味而不是忠诚度. 一个模型可以学习制作有吸引力的场景,但不能可靠地保存所要求的主题,布局,风格或被排除的元素. 因此,该方法的起点不是丢弃偏好数据,而是把它视为更广泛的奖赏系统的一部分.

发展:将投票,标题和门户结合起来. (图片来源)

该方法从训练了大约500万个人类选票的偏好奖励模型开始.这为系统提供了一个关于人类判断的大信号.此外,它还添加了对提示忠诚度和限制满意度的标题奖励.标题獎勵是更明确的检查:它们可以评估图像是否满足在提示中要求的细节,而不仅仅是人们是否更喜欢一个图片而不是另一个.

该设计还引入了反奖励破解门.这解决了模型训练中的一个常见问题:生成的输出可以在奖励信号上得分很好,但实际上对用户来说没有更好的效果. 门旨在阻止或惩罚利用奖励系统而不是遵循预期任务的策略.

最后,配方通过重量平均结合了互补的政策. 重量平均是一个融合不同政策的技术. 目标是保持每个政策的优势,而不是让一个训练信号占主导地位.

Latest Progress:用于FLUX.2-dev的A 69-Point Gain

报告的收益是通过实时盲人评估来衡量.这很重要,因为排行榜积分可以受到孤立测试集或自动指标的影响.在这种情况下,评价被描述为"盲人和人类领导",这使得结果与真实的用户判断更相关.

FLUX.2-dev在配方下获得了69个竞技场积分.这一结果值得注意,因为该模型在后训练之前已经被描述为强大.这表明改进不仅仅是修复一个弱的基线,而是进一步推动现有模型沿着偏好和约束维度.

经过训练后的 Ideogram 4也进入了Text-toImage Arena排名榜首.截至9月4日2026,它超过所有公开列出的 open-source 型号.这将结果置于竞争环境中:该模型不仅在内部得到改进,而且还可见于公共的人类评估排名.

当前阶段:9月4日 Image Arena排行榜快照

在这个阶段,这项工作显示了从偏好的调整到混合奖励设计的转变. 偏好投票仍然很重要,但它们与基于标题的检查,黑客保护和政策合并相配对. 9月4日2026快照标志着经过培训后 Ideogram 4在Text-toImage Arena排行榜上引领公开列出的 open-source 模型.

结果也为后续行动留下了空间.排行榜变化,新模型出现,评估快照是特定时间的.然而,核心信号是将人类偏好与明确提示忠诚度奖励结合起来改进了已经强大的系统,FLUX.2-dev在现场盲人评价中获得69个Arena积分.公告结束时邀请读者反"我们很想听到你的想法!"