SparseDecoding:通过解码引导的修剪,以获得准确和高效的LLM推理

标签描述: 字体的名称: ... . . . ,... . . 据报道,SparseDecoding是一个对解码LLM有意识的修剪框架,可为 large language models 提供1.48倍的壁表解码速度.

标签: 一个字母,一个字符号. (TG) " 分散解码, LLM 修剪 A100 GPUs, 解码加快, large language model 推断

![稀疏的 neural network 连接和 GPU 加速 large language model 推断的抽象技术风格插图] (数据:image/svg+ XML ,%3Csvg%20xmlns='http://www.w3.org/2000/svg'%20width='1200' %20height='630'%3E%3Crect%20wide=' 1200'% 20height =' 630 '%20fill='%23101820' /% 3E% 3Ccircle%20cx='250' 20%cy=' 250' 20%r='80' 20% fill=' %23266294'/% 3 E% 3 Ccircle %20cx ='650' 20% cy='350' 20% r='120'20%23'% 47A% 56F% E3Cline='150y=' 120Y='250% 50X% 32B*55% 2B*63% 350Y="76% B*62% E3cLine='300 y='100y =' 200 Y='200% 7b*9%)

SparseDecoding是一个解码意识LLM的修剪框架,作为一种使 large language model 生成更快的方式推出.据报道,它在2上实现了1.48倍的端到端壁表解码加速度.A100 GPUs这项要求很重要,因为解码通常是用户直接感受到的模型服务的一部分:每个 token 都是在前一个之后产生的.

背景:解码形状真实 LLM延迟时间

修剪可以减少模型重量以降低计算,但它不能保证每个服务工作负载的运行时间都相同.对于 large language models ,解码路径取决于在生成过程中使用的 token 序列,内存访问和 hardware .

发展:Sparse解码将剪裁与发电联系起来

该框架被描述为有原则的,这意味着它使用了一个明确的修剪规则而不是通用的尺寸缩小步骤.它的解码意识设计旨在将稀疏性与实际 token 生成联系起来,因此修剪决策不仅针对静态 model parameters .

Latest Progress:在 A100 GPUs 报告了1.48倍的加速度

声明的结果是1.48x端到端墙钟解码加速 A100 GPUs.该数字指的是全测量的解码窗口,而不仅仅是一个孤立的层或内核.可用的信息不包括模型名称, dataset 分数,参数计数或比较基线.

Current Stage:说明方法和标题编号

现在SparseDecoding有一个定义的概念和一个报告的加速度数字.对于读者来说,下一个有用的细节将是不同模型大小,提示长度,批量设置和服务堆之间的独立测量.