CoWindow关注:作为集体属性的完整因果覆盖
CoWA在各个方面都有共同的因果关系;MALA跳过了低贡献率的工作,减少FLOP并加快长时间背景培训和推断.
关键点
- CoWindow Attention (CoWA) 和MassAlloc Attention (MALA) 是两种新的注意设计 ,可以降低在长时间背景下重复关注整个因果史的成本 Transformers .
- CoWA使注意力负责人能够共享历史访问:每个主管很少参加,而各位领导则共同覆盖完整的因果背景.
- MALA保留完整的因果QK得分,但使用软max统计来减少注意力贡献较低的区域中的计算.
- 在128K- token 运营商对8× H100 的基准测试中,CoWA在FullAttn上实现了高达7.4x前进,8.6x后退和3.0x解码加速度,而MALA则分别达到2.2x,3.0x和1.6x.
- 从0.6B到14B的扩展实验和在32B的继续培训表明,这两种方法可以降低培训FLOP,同时保持与FullAttn相似的性能,为长文本模型提供实际效率增益.
一个团队最近在注意力设计中分享了两个针对 Transformer 模型常见低效率的探索:重复关注整个因果史的成本.这项工作引入CoWindow Attention (CoWA) 和MassAlloc Attention (MALA),两者都支持前向和后向传递训练以及推断预填充和解码. 在8× H100 与TP=8上的128K tokens 的注意力运营商基准测试中,这些方法比FullAttn提供了相当大的速度提升,CowA达到7.4 × 前进,8.6 × 倒退和3.0 × 解码速度,MALA达到了2.2 × 前向,3.0 × 後退和 1.6 的解码速率.
背景:关于冗余注意力工作的两个问题
探索始于两个简单的问题.首先,每个注意力头是否需要反复关注整个因果历史?第二,一旦注意力得分被计算出来,那些贡献很少的地区还需要进行后续全部计算吗?这些问题指向了长上下文模型中的一个更广泛的问题,其中注意力的二次性成本迫使在上下载时间和计算预算之间做出权衡.
如何 CoWA 和 MALA Differ
CoWindow Attention (CoWA) 让头部分享访问历史的工作.头部共享本地上下文,并将遥远的背景划分为互补的窗口.每个头部很少参加,而头部集体覆盖完整的因果史.该方法详细介绍在arxiv.org/abs/2609.32704的一篇论文中.
MassAlloc Attention (MALA) 采取了不同的路线:它让注意力分配自己的计算. MALA保留完整的因果QK得分,然后使用注意力的软max统计数据来减少在低贡献区域中的后续计算. 这篇论文可以在arxiv.org/abs/2609.32712.
扩大规模和培训成果
除了操作员基准,该团队还在14B进行了扩展实验从0.6B到14B,以及在32B进行单独的继续培训实验. 在 14B与32K,CoWA和MALA相应降低了总培训FLOP分别为28.5%和23.1%,同时对评估模型能力保持了与FullAttn相当的性能.
需要注意什么
结果表明,消除冗余的注意力计算可以在ML基础设施中转化为实际收益.该团队的目标是探索哪些注意力算法可以被淘汰以及如何将这些节省变成现实世界的效率.随着长文本模型变得越来越普遍,CoWA和MALA等方法可能会影响关注操作员的设计和部署方式,尽管多样化的工作负载上的进一步验证将决定它们更广泛的采用.
Comments
No comments yet. Be the first to comment.