自行蒸

极端视觉减少的政策自蒸 token :用更少的时间自我教学

该论文通过使用在政策上的自蒸.来训练 token 模型以保持稀疏视觉输入的有用性,解决了极端的视觉 multimodal 2减少问题.它将 multimodal 2损失作为一个学习问题,旨在在攻击性的视觉压缩下保留语言接…