Order-Only On-Policy Distillation 封面
HuggingFace
论文2026-10-3…

Order-Only On-Policy Distillation

On-policy distillation (OPD) trains a student on its own generations by matching the teacher's token probabilities. These probabilities entangle two kinds of information: which tokens the teacher prefers, and how confid…

来源:HuggingFace Papers收录于 2026年11月4日

站内导读

中文

用途:这份 README 介绍 Order-Only On-Policy Distillation,一种在策略蒸馏做法:让学生模型在自己生成的序列上训练,用教师模型的 token 概率作为监督信号,把教师能力迁移到学生模型。

能做什么

  • 学生在自己生成的序列上训练,而非只拟合教师给出的固定轨迹
  • 监督信号取教师模型的 token 级概率分布
  • 指出该概率同时纠缠两类信息:教师偏好哪些 token,以及偏好有多确信
  • 命名中的 Order-Only 针对这两类信息的拆分

适用场景:做大模型蒸馏、希望小模型学到教师行为的研究者与工程师,需要能同时加载教师和学生两套权重。

相关项目 · HuggingFace

查看全部「HuggingFace」项目 →