修改乘法,保留参数:对 Transformers 的关联代数层

标题: Qwen DeepSeek 研究试验

一项研究测试了更低级别的产品,用 Qwen 和 DeepSeek 形状取代 Transformer 矩阵乘法,显示吞吐量增长和得分下降.

标签: Transformer 预测,矩阵乘法

主要图片:抽象的技术风格, 显示相互连接的线性代数块.

背景: Transformer 预测中的矩阵乘法

在现代的 Transformers 中,密集层中的占主导地位的是矩阵乘法.投影是应用于隐藏状态的线性地图:在注意力区块中,投影转换查询,键和值;在前区块里,预测扩展和收缩模型维度.由于这些操作在训练和推理过程中被使用了很多次,即使它们算法的小变化也会对速度和成本产生明显的影响.

该研究以此标准假设为起点.它询问 Transformer 预测中使用的矩阵乘法是否可以用不同的,更便宜的关联积取代,同时保持相同的重量库和参数计数. 关联積是一个操作,其分组可在不改变结果的情况下变化,当计算被分割到 hardware 或重新编写成一系列较小的运算时这一属性很重要.

发展:较低级别的关联产品和 GPU 中核

第一步是降低代数运算本身的成本.这项研究将矩阵乘法标准双线表示与较低等级的关联积分进行比较.在q=2的情况下,拟议产品具有二线性排名6,而斯特拉森 2x2 产物有排名7.较低的排名通常意味着更少的乘法组件,因此它可以减少计算投影所需的工作.

在建立了代数形式后,该研究转向 hardware 测试.它评估GPU Transformer 形状的投影内核,包括与 Qwen 和 DeepSeek 模型相关的形状.这个阶段很重要,因为理论上的排名减少不会自动产生更快的端到端执行:存储器移动,内核效率以及周围的 Transformer 架构可以吸收或抵消算术节省.

最新发现: 110M-参数训练和吞吐量增长

然后,研究从内核扩展到可训练模型.它使用两个只有解码器的语言模型,大约有 110M 参数,经过了为 12.3B tokens 的培训.这两种模式变体仅在MLP乘法中存在差异,该方法将对比重点放在替换乘法规则的影响上,同时保持参数计数和权重银行结构完好无损.

在这些测量中,代数模型在四个提示域实现了 6.2 - 7.8% 端到端生成吞吐量的增加.该结果给出了主要的积极信号:较低级别产品可以转化为可测量的生成速度改进.

同样的结果也包括主要的负信号.代数模型在GSM8K,MBPP和IFEval上获得较低的分数,这三个基准领域用于探测推理,编码和跟随指令的风格评估.因此,传输量增加和质量下降一起出现在报告中的小规模实验中.

目前阶段:可行性和培训能力研究

这项工作被描述为小规模的可行性和可训练性研究.它的价值不是替代标准 Transformers ,而是证明一个关联式,低级乘法定律可以插入到 Transformer 形计算中,在语言建模数据上进行训练,并在GPU内核和生成吞吐量中进行评估.

它也标志着权衡变得具体的点:测量域中的更快生成与GSM8K,MBPP和IFEval上的较低分数相结合.因此这项研究处于早期实验阶段,其关键剩余问题是质量差距如何随模型大小而扩展,是否在更多 hardware 形状中保持吞吐率优势,以及代数产品如何与大型 Qwen 或 DeepSeek 型系统中的全参数银行相互作用.