中文 用途:这份 README 介绍 Order-Only On-Policy Distillation,一种在策略蒸馏做法:让学生模型在自己生成的序列上训练,用教师模型的 token 概率作为监督信号,把教师能力迁移到学生模型。
能做什么
- 学生在自己生成的序列上训练,而非只拟合教师给出的固定轨迹
- 监督信号取教师模型的 token 级概率分布
- 指出该概率同时纠缠两类信息:教师偏好哪些 token,以及偏好有多确信
- 命名中的 Order-Only 针对这两类信息的拆分
适用场景:做大模型蒸馏、希望小模型学到教师行为的研究者与工程师,需要能同时加载教师和学生两套权重。
日本語 用途:この README は Order-Only On-Policy Distillation を紹介します。学生モデルを自ら生成した系列で学習させ、教師モデルのトークン確率を監督信号として使うオンポリシー蒸留の手法で、教師の能力を学生モデルへ移します。
できること
- 教師が用意した固定の軌跡に合わせるのではなく、学生自身が生成した系列で学習する
- 監督信号として教師モデルのトークン単位の確率分布を用いる
- その確率には二種類の情報が絡み合っていると指摘する:教師がどのトークンを好むか、そしてその確信がどれほど強いか
- 名前の Order-Only は、この二種類の情報を切り分けることに向けられている
活用シーン:大規模モデルの蒸留に取り組み、小さいモデルに教師の振る舞いを学ばせたい研究者とエンジニアに。教師と学生の両方の重みを読み込める環境が必要です。
한국어 용도: 이 README는 Order-Only On-Policy Distillation을 소개합니다. 학생 모델이 스스로 생성한 시퀀스로 학습하고, 교사 모델의 토큰 확률을 감독 신호로 삼는 온폴리시 증류 방법으로, 교사의 능력을 학생 모델로 옮깁니다.
할 수 있는 것
- 교사가 준 고정된 궤적을 맞추는 대신, 학생이 직접 생성한 시퀀스로 학습합니다
- 감독 신호로 교사 모델의 토큰 단위 확률 분포를 사용합니다
- 그 확률에는 두 종류의 정보가 얽혀 있다고 지적합니다: 교사가 어떤 토큰을 선호하는지, 그리고 그 확신이 얼마나 강한지
- 이름의 Order-Only는 이 두 종류의 정보를 분리하는 것을 겨냥합니다
활용 장면: 대규모 모델 증류를 하며 작은 모델이 교사의 행동을 배우게 하려는 연구자와 엔지니어에게 적합합니다. 교사와 학생 두 가중치를 모두 불러올 수 있는 환경이 필요합니다.
English Purpose: This README describes Order-Only On-Policy Distillation, a training recipe that teaches a student model on its own generations while using the teacher's token probabilities as supervision.
What it does
- Trains the student on sequences it generates itself, rather than fitting fixed teacher trajectories
- Takes the teacher's token-level probability distribution as the training signal
- Notes those probabilities mix two kinds of information: which tokens the teacher prefers, and how confident it is
- The "Order-Only" in the name points at separating those two kinds of information
Where it fits: Researchers and engineers doing model distillation who want a smaller student to pick up a teacher's behavior, and who can run both sets of weights.