Weaken to Strengthen: Weakening-Induced On-Policy Self-Distillation for Large Reasoning Models 封面
HuggingFace
论文2026-10-2…

Weaken to Strengthen: Weakening-Induced On-Policy Self-Distillation for Large Reasoning Models

Self-distillation offers a way to improve reasoning models when a suitable external teacher is unavailable. However, common approaches rely on privileged information to construct a stronger self-teacher, limiting their …

来源:HuggingFace Papers收录于 2026年11月2日

站内导读

中文

定位:一种面向大型推理模型的自我蒸馏训练方法,由研究者提出,用“先弱化再强化”的思路在无外部教师时提升推理能力。

核心能力

  • 不依赖外部教师模型,用模型自身构建蒸馏信号,降低对特权信息的依赖。
  • 通过弱化诱导的在线策略自蒸馏,让弱化后的模型充当自我教师。
  • 针对推理模型训练场景设计,可与现有 on-policy 蒸馏流程配合。

适用人群:适合做 LLM 推理能力后训练的研究者与工程师,需要具备模型训练与蒸馏流程经验,并能访问模型权重与算力。

注意:README 仅给出方法概述,未列出具体实验配置与代码细节。

相关项目 · HuggingFace

查看全部「HuggingFace」项目 →