结构化剩余连接在传播中的重要性

超级描述: Diffusion Transformers 中的主动检索路由在 0.1% 下添加参数,将REPA-XL/2 FID从 5.87 到 4.94 在 0.28M ImageNet步骤中降低.

标签:扩散变压器,ImageNet,REPA-XL/2,FID,软max路由

主要图像:编码器和解码器层的抽象技术风格图,由软马克斯路径连接在一起,没有真实的人物,没有公司标志,没有文本.

背景: 一个固定的残留流塑造了 DiT学习

Standard Diffusion Transformers通过一堆通常表现为单个累积通道的层生成图像.在常规设置中,每个层的输出被添加到一个统一的剩余流中,因此网络的后期部分会收到所有早期计算的混合物.这种设计简化了架构,但它也使深度中的表示均并修复了训练期间梯度如何流动.结果是解码器块无法轻松地选择一种特定的早期表示;它使用已经经过总和路径的混合信号工作.

对于追踪扩散模型进展的读者来说,这很重要,因为瓶不仅在于训练时间或模型大小.它是结构性的.如果每个深度层被迫进入同一个残余流,则模型可能会失去对有用编码器端信息的访问权限.新的工作通过将分层输出的作用从被动积累到可选择检索而解决了这一问题.

发展:从被动总和到主动层检索

核心想法是保持编码器侧表示作为可分化的源.而不是依赖运行和,每个解码器子层使用轻量级的软max路由来融合其镜像编码源.简单地说,该模型询问在那一点上哪个编码层最有用,并将它与the decoder计算结合起来.

这种转移创造了更灵活的深度关系.分析说,当 Diffusion Transformers 允许在层之间进行路由时,它们依赖于早期层表征并自发地支持对称层对.这种模式指出了一个实用的教训:最有价值的源信息可能不是最近积累的特征.早期层仍然可以携带有用的结构,并且将其与匹配解码器深度搭配似乎是一个稳定的选择.

这种方法故意保持小规模.它补充说: "如果我们在某个 <0.1%额外的参数,这使得它成为一个路由接口而不是新的大型模型.因此,该变化旨在训练行为和表示访问,而不是扩展网络.

最新进展:更快速的FID获利和充满检查点的复兴

报告的结果集中在ImageNet和DiT-S/B/XL模型变体上.该方法在这些尺寸中产生一致的收益,而参数成本保持在 0.1%.最详细的证据来自已经和的REPA-XL/2检查点.

基线时间表显示了持续训练的极限.报告的基线比较表明,从 1M 到 4M 的 1M代仅获得 0.5 FID .继续微调也没有进一步改进,从 5.9 至 5.87 移动.FID 是一个常见的图像质量得分,其中较低的值通常表示更好的样本.

在添加路由后,进度曲线急剧变化.检查点仅在 0.28M 个步骤内达到 4.94 FID,并在 0.35M 步骤中提高到 4.34 FID.使用无分类器指导 (CFG),得分进一步达到了 1.39 FID .因此关键数字标志着三个阶段: 5.87,和的微调结果在 5.87,启用路由的跳跃到 4.94 在 0.28M 步伐下,1.39 CFG下的FID.

当前阶段:在这个时间线的末端的一个小路由层

当前阶段是对 Diffusion Transformers 的紧扩展,它改变了编码器表示方式的访问. 它不提供新的大型架构或全数据集大修. 相反,它表明软max路由机制可以恢复和检查点并产生很大的 FID 改进与非常少增加参数重量.

目前,时间表以一个具体的发现结束:被动剩余总和可以用主动检索取代,并且在ImageNet上的DiT-S/B/XL中可看到由此产生的收益,特别是REPA-XL/2微调路径从 5.87 到 4.94 FID 在 0.28M 步骤以及到 1.39 CFG 的 FID.