极端视觉减少的政策自蒸 token :用更少的时间自我教学

一篇论文考察了极端的视觉 token 缩减,并使用政策上的自蒸.作为其核心反应.这个主题很重要,因为 multimodal 系统通常会花费他们 token 预算中的很大一部分用于视觉输入,并且过于激烈地缩小这些输入可以使图像与语言相连不太紧密.这篇文章的角度不是为了切断视觉 Transformer 3,而是将减少当作一个学习问题:模型是由与自身当前行为相关的蒸.过程指导的.

背景:视觉 tokens 可能成为瓶

在以 Transformer 为基础的 multimodal 系统中,图像和视频通常被分成小块或,每个块成为模型必须处理的 Transformer 5. tokens 是模型读取的基本单元,因此更多的8820003通常意味着更高的内存使用量,更长的推断时间和更大的训练成本. 高分辨率图片和较长的视频可以快速加倍压力.

这就是为什么视觉减少 token 已经成为一种效率路径.如果一个系统可以保留最有用的视觉证据,同时丢弃多余的 tokens ,它可能运行得更快和更便宜.困难在于决定什么是冗余的.当视觉细节被过度修剪时,模型可能会失去图像中的文本,小物体,运动线索或空间关系.

发展:极度减少造成稳定问题

该论文所描述的场景比普通 token 修剪更具侵略性.极端视觉减少意味着在删除了更多视觉表示后,模型必须保持有用的行为.此时,挑战从简单的压缩转向对齐.

减少的视觉流仍然可以支持广泛的场景描述,但它可能会在精确的问题,罕见物体或小文本上失败.当视觉证据和语言指令以不熟悉的方式相互作用时,模型也可能变得不那么稳定.换句话说,该方法必须弥补信息丢失,而不仅是在架构中,而且还要在训练或适应过程中.

最新进展:作为修复机制的政策自蒸

基于政策的自我蒸.是一种培训方法,其中模型的当前策略提供了被蒸.的行为,而教师信号或内部目标指导模型实现更好的输出. "根据政策"部分意味着学习信号与模型本身可能产生的行为联系在一起,而不仅是固定示例. "自行蒸."部分表明目标和学习者相关而不是完全单独的系统.

在论文的框架中,这种机制被用来解决极端视觉减少 token 所造成的损害. 理念是教导模型在稀疏的视觉输入下保持有用性. 而不是期待一个简单的过规则来恢复所有细节,该方法塑造了模型自己的决策过程,以便它可以更好地利用较少的视频 tokens .

可用的摘要没有公布日期, dataset ,基准分数,模型家族或组织的名称,因此该贡献最好被理解为一种方法论要求:通过添加政策意识蒸.阶段来改进 token 减少.这种框架是有用的,因为它将效率工程与模型行为联系起来,而不是把视觉 Transformer 计作为一个独立的指标.

接下来要看什么

下一层细节将显示该方法在真实系统中可以走多远.重要缺失的部分包括确切的模型类,图像或视频是否是目标,所使用的缩减比和测量精度的任务.当需要极端 token 切割时,政策自蒸.等方法可能最为重要的延迟,内存或成本限制.

对于追踪 multimodal AI效率的读者来说,更广泛的信号是 token 预算正在成为一个设计面.问题不再只是如何缩小视觉输入,而是如何在保持模型语言接地状态的情况下缩小它.该论文将政策自蒸.定位为使这种权衡变得更加可控的一种方式.

分析一篇论文,使用政策上的自蒸来解决极端的视觉减少 token 及其对高效 multimodal AI的影响.

标签:视觉 token 减少, 在政策自蒸, multimodal

主要图像:抽象的技术风格,压缩 token 流和蒸.反循环,没有文字,没有标志,没有人.