SAGE:通过拓指导减少长视野推理偏见
SAGE解决了由稀疏奖励引起的长时间 LLM 个推理失败,其中可信的地方步骤可以积累成不稳定的轨迹.它引入符号关闭分析来解释探索和复合偏差,然后通过代数散射和过度几何指导搜索.报告结果涵盖 12 个基准和 7 个模型家族,包括安德鲁斯-柯蒂斯问题的重大收益.
研究工作
重要机器学习论文,总结没有术语.
MOPD- router :对多个教师的政策蒸重新审视教师路由
MOPD- router 将提示级硬路由替换为 token 级路由,通过更精细的教师信号改善多个教师在政策上的蒸..
循环语言模型中的深度自适应推理的连续深度分组
CDB在循环步骤之间重新分组 tokens ,让循环的 LLMs 使用适应深度而不会破坏批次效率.