软max 注意

面向检索的 deep learning 在扩展非参数的 neural networks

这篇论文通过渐变下降和线性注意力之间的二元化重新构建了线性层训练,然后用softmax关注,DeltaNet和Mesa层替换线性的注意力来创建以检索为中心的不断增长的非参数层.这种方法在简单回归和经典CIFAR上进行测试…