在LLM年重新审视培训-推断差距 reinforcement learning :起源和补救措施

模拟描述:CIS解决了LLM强化学习中的训练-推断不匹配问题,在五个数学基准上提高了三种MoE模型的精度.

标签:LLM强化学习,训练-推断不匹配,校准重要性抽样,MoE模型,数学推理基准

特色图像:抽象的技术风格视觉显示采样路径,模型节点和概率曲线;没有真实的人,没有公司标志,没有文本.

Calibrated Importance Sampling (CIS) 已被引入以解决LLM强化学习中的训练推断不匹配问题,报告了三种MoE模型和五个数学推理基准的精度结果.这个问题很重要,因为一个模型可以在两个系统中具有相同的权重,同时仍然分配不同的代码概率,如果校正规则假定概率差距意味着信心,这些差异可能会扭曲更新.

背景:当相同的权重不产生相同的代币概率时

在大规模的语言模型训练中,强化学习通常分离了两个角色:推理引擎生成候选代码或序列,而培训引擎计算梯度并应用更新.这些引擎可能使用不同的内核,批量策略,精确格式或调度路径.即使检查点相同,所得到的 token 概率也会有所不同.

重要性抽样是这种分配不匹配的常见纠正:它重新权衡一个政策下生成的样本,以便在另一个政策中使用.CIS公告识别了更简单的校正中的微妙问题.固定的重要性比率 fixed值以同样的方式对待每一个大比例.但大的比例可以来自两个不同的来源:模型真正不确定,或者训练和推理引擎不同意.当 training值将不一致与代币信心混为一谈时,它可以因为与政策实际不确定性无关的原因删除或减轻重更新.

发展过程:从固定比率到信任意识的削减

CIS改变了校正目标.它不适用于概率比,而是对逻辑赔率空间的不匹配进行特征化.当代币接近确定性时,Log-odds是一种将概率表达为参数边缘的标准方法,可以使小概率差异更明显.

从该表示中,CIS得出了一个信任意识的截断规则. 该规则适用于更严格的上限对高可靠性令牌,其中不匹配引起的变化可能看起来不成比例大,并且允许较少的截止偏差对于低可靠性的令牌而言,在这种情况下模型的不确定性不应该被过度惩罚.

在实践中,该方法试图分离两个问题:样本应纠正多少,因为它不可靠,应该剪切多少?报告的设计以校准步骤而不是单个值来回答这两点.

最新进展:报告了三个能源部模型和五个数学推理基准的结果

该材料报告说,CIS在五个数学推理基准中的三个MoE模型中实现了最高的平均精度. MoE或专家混合模式是大型语言架构,将不同部分计算路由到专门的专家子网络;它们通常用于增加容量而不是激活每个令牌的每一个参数.

数学推理基准提供了一个有用的测试平台,因为它们奖励精确的问题解决,使其对不稳定或杂的政策更新敏感.CIS公告还指出这些说法得到了理论分析和经验诊断的支持,并链接到代码https://github.com/kzhk5/CIS-RL.

目前阶段:研究代码可用,报告准确性结果

该介绍处于研究发布阶段.它提供了一种方法,报告了基准结果和代码,但该材料没有描述在生产系统或公开日期之外的部署.

对于跟踪LLM培训后的读者来说,下一个信号是独立评估是否在同样的三种MoE模型和五个数学推理基准上重现了评价基线中最高的平均精度,以及逻辑概率校准规则是否在以数学为中心的任务之外保持一致.