没有注意力

MC-Sparse:分析和弥合扩散变压器中的密集par稀疏注意力差距

扩散 Transformers 通过反复拒绝 token 序列来创建长视频和3D输出,使密集的注意力变得昂贵. MC-Sparse是一个无培训的Meta-Cached Sparse Attention框架,通过选择单个键…