循环语言模型中的深度自适应推理的连续深度分组

标签描述: (中文) 字体: ... " . " " " CDB首次实现了循环LLM的高效深度自适应分批处理,允许具有不同循环数量的代币在循环步骤之间共享计算.

标签: 一个字母,一个字符号. . . . ,. 循环LLM,推断分批处理,CDB,vLLM和动态深度

首选图片: 在线视频, 下载地址: http://www. 抽象技术图像:流动的神经网络层与自适应循环路径,没有人,标志或文本.

背景:固定计算形状LLM服务经济学

大型语言模型服务面临成本问题:相同的前向传递和相同的计算用于每个代币,即使代码在难度上有所不同. 一篇论文介绍了CDB作为深度适应循环LLM的第一个高效方法,核心想法是循环步骤之间的深度自适应分批处理.

前向传递是模型的单次执行,将当前上下文转换为下一个令牌分配.批处理将许多令牌或请求集成到一个执行中,这提高了现代加速器的吞吐量.成本在于服务系统对待所有令牌好像它们需要相同的工作量一样.

当模型设计开始改变计算深度时,这种假设变得尬. Looped LMs是可以重复内部处理步骤的模型,而不是为每个令牌使用一个固定的路径.原则上,它们让简单的令牌在更少的步骤后停止,而困难的令章继续进行更多步骤. 吸引力很简单:轻松的令币需要较少的计算量,而硬件则需要更多的计算能力.

开发:动态深度断裂标准分批

问题不在于可变深度的概念.问题在于推断服务器如何打包工作.标准分批系统如vLLM期望实现统一的执行形状.如果不同数量的循环必须一起运行,它们不能共享正常前向传递,因为他们的计算不会在每个步骤上排列.当硬件能够同时运行集成的工作时,一个批量只能有效.

这种不匹配造成了实际障碍.如果每个令牌都被隔离,或者系统等待批中的最长序列,那么可以选择自己的深度的模型仍然是昂贵的服务.结果将会浪费计算,吞吐量降低和延迟控制较弱.问题变成:如何让一个服务系统保持循环计算的好处,同时保留批处理效率?

最新: CDB 在循环步骤之间形成批量

该论文介绍了连续深度批处理 (CDB) 作为第一个高效的深度适应循环LLM方法.核心动作是停止将一批视为一个固定向前传递.相反,CDB在循环步骤之间形成新的批次.仍处于同一循环阶段的代币可以被组合在一起,而需要更多或更少步骤的代码可以通过循环移动而不迫使整个批量遵循相同的时间表.

这改变了推断的形状.系统不再需要将每个令牌强制执行到相同的执行模式中.它可以让深度保持适应性,同时仍然在每一个循环边界分组活跃令牌.该方法针对可变计算和高吞吐量服务之间的确切冲突.

当前阶段:循环式LLM的服务机制

CDB最好被理解为一个调度和分批机制,而不是新的基准号或完全描述的产品发布.它的价值在于推断成本的时间线:固定前传使服务可预测但刚性化,循环LM使深度灵活但难以分批,CDB通过重新组合循环步骤之间的工作来将灵活性与效率连接起来.

接下来是深度适应模型是否可以在真实服务堆中使用这种机制.关键的测试不仅是模型能跳过多少循环步骤,而且每个边界上有多少令牌保持足够紧密以使加速器利用率高.对于跟踪LLM基础设施的读者而言,信号很明确:可变深度计算正在成为一流推断问题,分批不再是一个被动细节.