中文 定位:一篇研究长时程强化学习专家整合的论文,提出 MRPD 方法,主张不重新采样,而是按专家原有顺序回放其训练日志来完成多教师整合。
核心能力
- 回放带采样概率与奖励的专家轨迹,在已记录前缀上蒸馏最终专家的分布
- 在回放轨迹上重算策略梯度,使整合过程接近在策略状态并减少训练推理错位
- 全程不采样、不调用环境与奖励模型,整合算力约为训练专家成本的七分之一
- 在推理、搜索与 SQL 三个智能体领域优于在线强化学习与 MOPD 基线- 分析显示回放轨迹贡献了主要增益,策略梯度与蒸馏项均有额外贡献,且日志顺序比其数量或奖励更重要
适用人群:从事大模型后训练与强化学习的研究者和工程师,尤其是需要把多个领域专家合并为单一模型、且在意整合成本的团队。
注意:上述结论来自同一批训练日志上的分析与三个领域的实验,迁移到其他任务时仍需自行验证效果。
日本語 位置づけ:長時間ホライズンの強化学習エキスパートを1つのモデルに統合する研究論文です。従来の高コストな再サンプリングではなく、エキスパートの訓練ログを学習順に再生する MRPD を提案します。
主な機能
- 采样確率と報酬付きの軌跡を再生し、記録済みプレフィックスで最終エキスパートの分布を蒸留する
- 再生軌跡上で方策勾配を再計算し、訓練と推論のずれを抑えてクリップ範囲内に保つ
- サンプリングも環境・報酬モデルの呼び出しも不要で、統合コストは訓練コストの約7分の1
- 推論・検索・SQLの3領域でオンライン強化学習と MOPD を上回る結果を示す- ログの順序が量や報酬より重要であり、訓練ログはデータの混合ではなくカリキュラムだと示唆する
対象ユーザー:大規模モデルの事後訓練や強化学習に携わり、複数ドメインのエキスパート統合を低コストで実現したい研究者とエンジニアや、統合コストの削減を重視する事後訓練チームです。
한국어 정의: 긴 호흡의 강화학습 전문가들을 하나의 모델로 통합하는 연구 논문으로, 새로 샘플링하지 않고 전문가의 훈련 로그를 학습 순서대로 재생하는 MRPD 방법을 제안합니다.
핵심 기능
- 샘플링 확률과 보상이 담긴 궤적을 재생하고 기록된 접두사에서 최종 전문가의 분포를 증류함
- 재생 궤적에서 정책 그래디언트를 다시 계산해 훈련-추론 불일치를 줄이고 클립 범위 안에 유지함
- 샘플링도 환경·보상 모델 호출도 없이 통합 비용이 전문가 훈련 비용의 약 7분의 1 수준임
- 추론·검색·SQL 세 가지 에이전트 영역에서 온라인 강화학습과 MOPD 기준선을 앞서는 결과 제시
대상 사용자: 대규모 모델 사후 훈련과 강화학습을 연구하는 연구자와 엔지니어로, 여러 도메인 전문가를 낮은 비용으로 하나의 모델로 합치려는 팀과 통합 비용 절감을 중시하는 사후 훈련 팀에 적합합니다.
English What it is: A research paper on consolidating long-horizon reinforcement learning experts into a single student model. Instead of the costly multi-teacher on-policy distillation (MOPD) recipe, where the student resamples in every environment and an expert rescores every token, it proposes multi-expert replay policy distillation (MRPD), which reuses what the experts' RL runs already produced: rollouts with their sampling probabilities and rewards, kept in the order the experts learned from them.
Key capabilities
- Replays scored training logs through the student in the experts' own order, recomputing the policy gradient on those trajectories and distilling the final experts' distributions at the logged prefixes
- Reduces the training-inference mismatch and keeps the student within the clip range, so replay is off-policy in origin but quasi-on-policy throughout consolidation
- Samples nothing and calls no environment or reward model, so consolidating the experts costs only about a seventh of the compute used to train them
- On reasoning, search and SQL domains, it yields the best student, substantially outperforming online RL baselines and surpassing MOPD from the same experts, with analysis showing log order matters more than amount or rewards
Who it is for: Researchers and engineers working on frontier post-training and reinforcement learning who need to merge domain experts into one model while controlling consolidation cost.