ReSPO:通过重塑序列政策优化解决非政策学习中的渐变饥饿问题

超级描述:ReSPO通过重新塑造序列层次重要性权重以实现稳定的扩展,在大型 MoE 模型中高推出时间下针对政策之外的RL.
标签: ReSPO, 非政策 RL, MoE , 政策优化
主要图像:在 neural network 网格上的抽象加权轨迹弧,深蓝色和黄色,没有人,没有标志,没有文字

ReSPO是一种新的策略优化方法,旨在用于高部署延迟的非政策 reinforcement learning (RL),这种设置对于大型 MoE (专家组合) 模型来说特别困难.它重塑了序列级重要性权重,以使培训更新更稳定,当政策从早期模式版本产生的推出中学习时.

背景:为什么高发行率的老化很重要

政策之外的RL重复使用策略早期版本的轨迹.这可以节省计算,但它在更新和当前模型中引入了数据不匹配.序列级重要性权衡被用来纠正这种不一致性. 当推出非常过时时,这些权重可能变得不稳定,导致有用的学习信号被极端值淹没. 大型 MoE 模型增加了风险,因为大规模生成新的推出是昂贵的.

发展:重塑序列级重要权衡

ReSPO通过重塑序列级重要性权重来解决这个问题.声明的目标是防止梯度饥饿,使有用的学习信号从不足生成的正确响应中保持,并抑制极端权重引起的不稳定更新.

最新进展:扩展收益和开放代码

该方法被描述为随着采样响应数量的增加而带来更强的收益,使规模培训更加稳定和有效.代码可在https://github.com/ReSPO.

目前阶段是一个公开的方法和代码宣布,一个悬而未决的问题是重量调整如何影响大型 MoE 训练运行中的非政策RL稳定性.