维洛克斯使用空间记忆使世界模型高效.

维洛克斯是一个免训练的注意力 router ,旨在使长视频世界模型推出更具响应性.它加速了4.36倍的关注,并在48块时减少了2.43倍,同时保持在全158个案例WBench导航分割中的LingBot-Fast-Cam密集的0.15 API 自由平均点内.

背景:长时间的视频推出面对越来越大的存储成本

视频世界模型将动作和摄像机运动转化为长时间的视觉推出,使视频成为交互式模拟的自然界面.该接口产生了实际紧张:需要响应生成,但连贯的推出必须保留已经生成的可视记忆.分块化的视频扩散模式通常会在不断增长的KV缓存中保持这种上下文,因此以后的片段逐渐变慢. 因此问题是一个缩放的问题.随着部署的增加,储存在的背景数量越来越大,注意力必须花费更多的时间查询这一环境.报告中的速度升级针对的是这个稍后的部分瓶.

发展:Frustum Slabs取代了统一的上下文保留

为了解决瓶问题,这项工作引入了Velox,一种无训练的attention router 用于使用流体几何学中的frustum slab对应物进行区域级上下文选择.而不是将所有存储的语境处理为具有相同固定的重要性的摄像机 frustum板块,Vellox代表历史区块.它通过近期优先次数多重变形获得当前区块深度.对于覆盖良好的地区,Frustum Slab重叠轻松调整每个层模型衍生的区块的重要性.未覆盖的地区保留模型衍生路线而不存在几何偏差.固定 token - block颗粒度匹配FlashAttention风格瓦式执行并减少随着部署长度增长的注意期限.

最新进展: H200 的速度和基准结果

在同一个 H200 上,frustum板块的构建与denoising异步运行.在chunk 48中,Velox将注意力加速4.36×和denoising加快2.43×.在全158个case WBench导航分割中,它仍然处于LingBot-Fast-Cam密集的0.15 API 自由平均点范围内.这些数字使得结果位于速度和基准距离的交叉点:以后的chunk增速搭配了密集比较中的小测量差距.

当前阶段:交互式视频生成的路由层

维洛克斯位于分片视频传播的内存成本和长,连贯,响应性部署需求之间的位置.其报告设计使用流式几何学来指导区域级上下文选择,在几何覆盖率较低的地方保留模型衍生路由,并将上下载选择与led状注意力执行对齐.接下来的要观察点是相同的frustum-slab路由如何随着部署变得更长而表现,以及 H200 上的异步构建是否继续控制更多块的关注增长.项目页面提供了更多细节.

SEO 总结

超级描述:Velox,一个没有训练的注意力 router ,在视频世界模型注意力的速度是4.36倍,并且在第48块时以2.43倍的速度消音,同时保持在0.15点内.

标签:Velox,视频世界模型,注意力路由

主要图片:抽象的技术风格视觉显示摄像机 fr板和注意力路由,没有真实的人,没有公司标志,也没有文字.