注意力路由

维洛克斯使用空间记忆使世界模型高效.

维洛克斯是一种免训练的注意力路由器,利用流式几何中的视频板对应关系进行区域级上下文选择,替代均保留保留全部KV缓存的做法. 在第48个分块上,它将注意力提速4.36倍、去噪声提速2.43倍,并在完整158例WBench导…