MC-Sparse:分析和弥合扩散变压器中的密集par稀疏注意力差距

标签描述: 字体的名称: ... . . . ,... . . 在视频和3D生成中,MC-Sparse可降低扩散 Transformer 的延迟时间,同时保持输出保真性.

标签: 一个字母,一个字符号. (TG) " 广播 Transformers , 注意力稀疏, 3D资产生成

![抽象的稀疏注意力图带有发光节点和没有文本]

扩散 Transformers 通过运行重复的否定步骤来构建长视觉输出,在此过程中对 token 个序列的注意力成为主要延迟源.MC-Sparse (Meta-Cached Sparse Attention 的简称) 是一个针对该瓶的无训练稀疏关注框架.它保留了查询和存储的键值 (KV) tokens 之间的选择交互,然后在否定阶段重新使用缓存的元数据. 该方法报告了 MiniMax -H3-Base上的1.80x否定速度提升以及 3D资产生成中的2.32x加速,与密集注意力相比质量损失微不足道.

背景:漫长的序列使密集的注意力变得昂贵

扩散 Transformers 用于长序列生成任务,包括视频和高分辨率3D资产生成.密集的注意力意味着每个查询可以查看所有关键值条目.这种完整的交互模式具有表达性,但随着序列增长,它使每一个标记步骤变得昂贵.稀疏的注意能通过让查询处理更小的关键价值子集来降低该成本 tokens .

交易一直是质量.当稀疏性高时,现有的稀缺注意力方法可以降低生成忠实度.跳过太多的交互可能会删除有用的上下文并削弱输出品质.这项工作将这种退化追溯到三个来源:由 token 分组所施加的约束,不准确的相互作用选择和在丢弃 tokens 时失去的注意力贡献.

开发:从Oracle分析到MC-Sparse设计

这项工作使用受控的Oracle比较来隔离标准稀疏注意力失去了忠诚度的地方. token 分组约束可以强制查询到与其真实关注需求不匹配的块中.不准确的交互选择可能会保留错误的键值 tokens .丢弃 tokens 可以删除对输出仍然重要的关注贡献.

MC-Sparse直接解决了这些问题.它不仅依赖于分组的交互,而是选择单个键值 tokens .它仍然将类似查询组织成对齐的群体,这有助于GPU执行,因为当内存访问和计算与普通对准时, GPUs 的工作效率很高.该框架无需培训,因此不需要重新训练扩散 Transformer 模型.

另一个核心部分是元数据缓存.MC-Sparse存储查询组,使用精确的注意力概率选择的关键值索引以及密集和稀疏关注输出之间的残余值.这些剩余值捕捉了完全注意力与稀疏注意力的差异.在随后的拒绝步骤中,缓存的元数据被重用,减少从头开始重新计算选择信息的需要.

最新进展:测量速度和可靠性

据报道,在视频和3D生成模型中,MC-Sparse比现有的稀疏注意力基线实现了更高的密集关注输出忠实度.它还提供了较大的无声化加速度.相对于密集注意力: MiniMax -H3-Base上的1.80x以及3D资产生成中的2.32x.

这些数字很重要,因为它们分开了两个经常竞争的目标:更快的生成和保存输出质量.一种稀疏方法只能加速度模型但明显削弱视频或3D资产可能无法使用.MC-Sparse被定位为改善这种权衡双方的一种方法,至少在报告中的测试中没有可见的质量退化.

工作的现状

目前的阶段是方法级结果:MC-Sparse证明,通过完善 token 选择,查询分组和缓存元数据重用,可以使无训练稀疏注意力更加忠实于密集注意.对于观看扩散 Transformer 部署的读者来说,关键信号是长序生成仍然是一个延迟问题,稀疏关注仍是减少其的主要实际途径.下一个要观察的问题是这种基于精确概率的KV指数缓存和残余再利用是否会在不改变模型权重的情况下蔓延到更多的视频,3D和 Transformer .