分散解码

SparseDecoding:通过解码引导的修剪,以获得准确和高效的LLM推理

SparseDecoding是一个解码意识的LLM修剪框架,用于更快地推断.它报告了A100 GPUs上的1.48倍壁表加速度,细节有限.