Qwen 美国

修改乘法,保留参数:对 Transformers 的关联代数层

这项研究探讨了在 Transformer 投影中用低级别的关联代数运算替换标准矩阵乘法,同时保持参数计量不变. Qwen 和 DeepSeek 形状的GPU个内核显示算术节省,而110M-参数模型实现 6.2-7.8%更…