线性注意力

面向检索的 deep learning 在扩展非参数的 neural networks

这篇论文通过渐变下降和线性注意力之间的二元化重新构建了线性层训练,然后用softmax关注,DeltaNet和Mesa层替换线性的注意力来创建以检索为中心的不断增长的非参数层.这种方法在简单回归和经典CIFAR上进行测试…

V-CoLA:使用线性注意力压缩视觉 tokens

在没有训练的情况下,V-CoLA在线性注意力飞行器中压缩视觉 tokens ,保持精度和加快预填充.