vLLM 美国

循环语言模型中的深度自适应推理的连续深度分组

CDB在循环步骤之间重新分组 tokens ,让循环的 LLMs 使用适应深度而不会破坏批次效率.