对扩散模型进行校正训练以提高输出质量.

超级描述:校正训练通过UC Berkeley和Reve来改进 diffusion model 的预测以提高图像质量,同时保持多样性并避免过度和.

标签:扩散模型,图像生成,AI研究,没有分类器的指导,加州大学伯克利

主要图像:噪音和清晰形状的抽象扩散网,没有人,没有标志,没有文字

背景:指导一直是传播图像的常用捷径

扩散模型通过逐步从随机信号中去除噪声来创建图像.在许多图像生成工作流程中,使用无分类器指导将输出引导到采样过程中的所需目标上.UC Berkeley和Reve的发布询问是否可以在没有该步骤的情况下产生高质量的图像 . Donghoon Ahn,Runqian Wang和Alexei A. Efros以及Taesung Park和Yash Belhe提供的答案是肯定的.他们的方法称为校正训练,它被介绍为改善扩散样品质量的简单有效方式.

开发:一个校正器在采样过程中提炼Denoiser

核心想法不是用不同的目标取代denoiser.相反,校正器学习将denoiser的预测改进到同样的清洁目标上.在采样过程中,这种纠正被代地应用.该版本描述了结果是质量得到大幅改善,同时大大保留多样性并避免严重过度和.

对于读者来说,它的意义是实际的:校正训练表明了改进生成图像的一种途径,而不是依靠无分类器指导作为主要采样调整.它保持清洁图像目标完好无损并添加了一个精细化步骤,帮助denoiser更准确地向其移动.

最新进展:DiT,SiT和JIT的结果

该方法在DiT,SiT和JiT之间进行评估. 在这些设置中,校正实现了与无分类器指导相匹配或优于FID得分 (Frechet Inception Distance,一种常见的图像质量计). 此版本还包括视觉示例,项目页面以及代码和检查点.

视觉化: https://x.com/donghoon_ahn/status/2110038016622493951

项目页面: https://sunovivid.github.io/correction-training/

编码和检查点:https://github.com/sunovivid/correction-training

目前阶段:早期公开方法和资源

这项工作目前处于早期公开发布阶段:方法,示例,项目页面,代码和检查点可用,报告中的比较涵盖了DiT,SiT和JiT.下一个信号将是公布的校正培训结果是否可以与已发布的代码及检查點重现,以及该方法是否超出已经显示的模型家族.