Replay, Don't Resample: Off-Policy Consolidation of Long-Horizon RL Experts 封面
HuggingFace
论文2026-11-1…

Replay, Don't Resample: Off-Policy Consolidation of Long-Horizon RL Experts

Frontier post-training follows a common recipe: train one expert per domain with reinforcement learning (RL), then consolidate the experts into one model via multi-teacher on-policy distillation (MOPD). Such consolidati…

来源:HuggingFace Papers收录于 2026年11月20日

站内导读

中文

定位:一篇研究长时程强化学习专家整合的论文,提出 MRPD 方法,主张不重新采样,而是按专家原有顺序回放其训练日志来完成多教师整合。

核心能力

  • 回放带采样概率与奖励的专家轨迹,在已记录前缀上蒸馏最终专家的分布
  • 在回放轨迹上重算策略梯度,使整合过程接近在策略状态并减少训练推理错位
  • 全程不采样、不调用环境与奖励模型,整合算力约为训练专家成本的七分之一
  • 在推理、搜索与 SQL 三个智能体领域优于在线强化学习与 MOPD 基线- 分析显示回放轨迹贡献了主要增益,策略梯度与蒸馏项均有额外贡献,且日志顺序比其数量或奖励更重要

适用人群:从事大模型后训练与强化学习的研究者和工程师,尤其是需要把多个领域专家合并为单一模型、且在意整合成本的团队。

注意:上述结论来自同一批训练日志上的分析与三个领域的实验,迁移到其他任务时仍需自行验证效果。

相关项目 · HuggingFace

查看全部「HuggingFace」项目 →