面向检索的 deep learning 在扩展非参数的 neural networks

标签描述: 字体的类型是什么? (Meta description) 一篇以检索为中心的 deep learning 论文建立在梯度下降和线性注意力之间的二元化上,使用softmax,DeltaNet和Mesa层.

标签: 一个字母,一个字符号. (TG) " 检索中心 deep learning ,线性注意力,梯度下降,软max关注,DeltaNet

首选图片: 在线视频, 下载地址: http://www. 一个抽象的技术风格图,光的检索向量将数据点连接到不断增长的内存层,没有人,标志或文本.

一篇论文提出了以检索为中心的 deep learning ,它建立在一个众所周知的二元性上,将两个想法联系起来:通过梯度下降训练线性层和线性的注意力.这篇文章不把标准的线性注意力作为检索机制,而是用更具表达力的变体来取代它:软max关注,DeltaNet和Mesa层,以获得不断增长的非参数层.该论文展示了简单回归和经典CIFAR上的强大性能和样本效率,将类似注意力的检索定位为固定权重线性層的更丰富替代品.

背景:渐变下降与线性注意力之间的二元化

线性层是通过加权总和结合输入的基本 neural network 个组件.梯度下降训练它们,将这些重量调整到损失梯度的方向.在论文中强调的二元性连接了线性的普通梯度-下降培训与线性注意力,这种类似于注意力的机制通常与高效序列建模相关联.

这种联系很重要,因为它给线性层训练提供了检索解释.而不是仅将一个层视为学习权重的固定矩阵,二元化表明该层可以被理解为在训练期间关注相关信息.从这个角度来看,线性的注意力成为优化和表示之间的桥梁.

发展:从线性层到以检索为中心的层

该论文以二元性为起点,然后询问如果检索机制变得更具表现力会发生什么.它保留了以检索为中心的框架,但用三种命名替代品取代标准线性注意:softmax关注,DeltaNet和Mesa层.

软max注意力是熟悉的注意力机制,可以将可能值中的得分正常化,而DeltaNet和Mesa层是该论文称为更具表现力的替代品的类似注意力设计.目标不仅仅是在一个层换取另一个层,而是创建不断增长的非参数级别.

在这里,nonparametric 用于容量意义:层的有效行为可以随着它检索到的数据或内存而扩展,而不是局限在一个静态的参数集中.这就是论文"以检索为中心"标签变得具体的地方:模型的功率与它能够在计算过程中获取和处理的内容相关联.

最新进展:简单回归和经典CIFAR的证据

该论文对简单回归和经典CIFAR的建议进行了评估.这些任务是有用的,因为它们测试不同类型的学习行为.回归询问层是否可以有效地学习连续映射,而经典Cifar则在一个众所周知的基准设置中探讨图像级别表示.

描述的结果是强大的性能和样本效率.样品效率是权利要求的实用部分:基于检索的层可以从更少的例子中学习有用的结构,如果它能够依赖表达式注意力模式而不是仅依靠固定的重量矩阵.没有提供特定分数,因此意义在于结果的方向而非测量的数字.

目前阶段:一个新层家族,而不是完整的系统

该论文目前处于有针对性的证据的提案阶段.它将已知的梯度下降和线性注意力之间的二元性与一个新的以检索为中心的架构联系起来,然后测试了 softmax 注意,DeltaNet 和 Mesa 层作为标准线性关注的替代品.

接下来要考虑的是,在简单的回归和经典CIFAR之外,不断增长的非参数层是否保持了样本效率,以及当记忆和注意力模式扩大时,基于检索的设计是否仍然是实用的.目前,这篇论文的贡献是重构:可以将线性层视为检索系统,而更具表现力的注意力变体可以使这一观点成为 deep learning 的核心.