TT-VidT:解开时间维度以实现高效的动作视频预训
TT-VidT使用每运动 tokens 和一个关键镜头来分离外观与时间变化,实现强大的小规模结果.
主要内容
- TT-VidT是一个视频预训练框架, 它将空间外观与时间运动分开而不是合并它们.
- 它用一个紧的运动标记来表示每个,并从关键加上该标志重建.
- 这种以运动为中心的设计鼓励模型学习实际时间变化而不是静态视觉快捷方式.
- 在SSv2上的镜像级测试中,TT-VidT受到翻转或时间逆转的影响远低于基线模型,这表明运动理解更强.
- 该方法在小规模培训中显示出有希望的结果,但其可扩展性和对更大基准的性能仍然是关键问题.
一个名为TT-VidT的新视频预训练框架建议将空间和时间信息单独建模而不是合并.该方法生成每"动作令牌",解码器从一个关键加上这个令牌重构每个.根据作者说,这种方法只需进行小规模培训就能获得强大的结果.项目页面可在https://kohakublueleaf.github.io/TTVidT/处找到.
为什么要分离运动和外观
大多数视频模型要么堆叠每嵌入或在整个剪辑中运行单个全局3D模型.TT-VidT采用不同的路线:它将运动隔离为每个的紧.标记,留下外观到一个关键.这种设计迫使模型编码随时间变化的东西而不是存储静态的视觉提示.
镜子级别的测试
作者通过翻转或时间逆转SSv2镜像类的视频来测试这一点.TT-VidT保留了 1% 或更少的这些剪辑上的原始答案,而基线保持在9% 到 43%. 这种差距表明 TT-VitT真正是阅读运动而不是依赖空间快捷方式.
接下来要看什么
对于追踪视频表示学习的读者来说,关键问题是运动代币方法是否超出了小规模培训以及它在更大的基准上表现如何.
Comments
No comments yet. Be the first to comment.