最后一个OPD:缓解隐藏的政策蒸崩盘

简介:LastOPD修复了Qwen3在政策蒸.中的潜在监督崩,改善了MATH-500得分和论文实验的培训效率.

标签:Qwen3,政策上的蒸,潜伏监督,最后的OPD,MATH-500

首选图片:抽象技术图像:神经通道从混乱层稳定到单一的对齐输出接口,凉爽的蓝色和.珀色调,没有文字或标志.

背景:在政策上蒸需要超过 token 个答案

最后OPD来自于模型蒸.的一个狭窄问题:一个小学生模型可以模仿更大的教师的单词选择,但不一定是产生它们的内部计算.在政策蒸 (OPD) 中,学生生成了自己的反应,并且老师纠正了这些响应 token 乘以 token .该校正使用了老师的下一个- token 分布.它提供了一个有用的信号,但主要告诉学生老师说的是什么,而不是老师如何思考.

潜伏监督是试图填补这一空白.它不仅匹配最终的下一个- token 概率,而是将学生的隐藏状态与老师的隐蔽状态对齐. OPRD等最新方法把这个信号带入了政策蒸.中,旨在为学生提供更丰富的训练信号,同时仍然保持政策校正循环.

发展:快速的增长早于急剧的崩

据报道的实验重点是将Qwen3-4B和Qwen 3 - 8B蒸.成Qwen 3-1.7B基.当单独使用潜伏监测时,早期效果非常惊人:MATH 500精度在10步内从25升至46 .这对于一个小型基础模型来说是一个大跃进,它似乎证实了对准隐藏状态可以传输超过 token 级别选择的承诺.

后来的趋势反转了这种阅读.持续的训练使得成绩下降到11,没有恢复报告.失败不仅仅是学生忘记老师.在模型行为恶化时,对齐度量会不断改善.换句话说,最对齐的检查点也是表现最差的检测点.这种分离很重要,因为这意味着标准对齐分数可以在培训过程中产生误导性.

进一步的分析指出了结构上的不匹配.当隐藏状态与层深度相对应时,相同的层数并不一定意味着同样的计算作用.在1.7B模型中执行一种聚合的一种层可能位于4B或8B教师内部不同的功能位置.因此,持续的深度逐次调整可能会将学生拉向无法理解的老师状态.训练信号变得更加精确,而在行为方面变得越来越无用.

最新:LastOPD将信号限制在最后一个层

最后OPD通过缩小应用潜伏信号的位置来响应.它不用对准许多内部层,而是使用最后一层状态,描述为两种语言模型头读取的共同接口.隐藏监督仅在10步交叉变色时活跃到 token 级OPD中.过渡之后,学生返回到更稳定的 token -级校正路径.

这种设计保持了潜伏监督的早期优势,而不让它主导整个训练过程. 10 步窗口与报告MATH-500增益出现的地方相匹配,然后将学生返回到 token 级OPD之前崩模式可以抓住.

现阶段:一种更稳定的蒸配方

实验报告称,LastOPD在Qwen3-4B教师中提高了MATH-500比 token -only OPD的5.55分和与Qwen 3-8B教师中的4.02点.它也领先于最持久的 datasets 并在大约一半的步骤中达到 token -onlyOPD的最终得分.代码可在https://github.com/Muyiiiii/LastOPD上找到.

对于Qwen3学生-教师设置,即时的教训是深度对齐并非自动更好.下一个问题是当老师,学生,任务分配或培训预算在报告MATH-500设置之外发生变化时,最后一层信号是否保持稳定.