On-Policy Distillation
Lu et al. (Thinking Machines Lab) · Engineering Blog 2025 · 2025
阅读原文学生生成、教师逐 token 反馈——同时拿到 SFT 的数据效率与 RL 的分布正确性，用约八分之一的采样算力达到 RL 同等效果，一举把在线策略蒸馏推进工业标准管线。
核心要点
- 后训练工具箱自此三足鼎立：SFT（信号稠密但分布错配）、RL（分布正确但信号稀疏）、OPD（学生 rollout 上跑 teacher logprob 的稠密反馈）——第三条路同时修掉前两者的核心缺陷。
- 最硬的工业证据：Qwen3-8B 基座学生 + RL 训练的 32B 教师，AIME 2025 上 OPD 约 68%，同算力 RL 约 58%、SFT 蒸馏约 43%（基座约 13%）——达到 RL 同等水平只用约 1/8 的采样量。
- 可验证与不可验证任务通吃：数学靠教师 logprob 的过程监督，聊天靠教师风格信号——不需要可验证奖励，绕开了 RLVR 的适用域限制。
背景
2025 年的前沿训练管线是两段式：先在基座上做 RLVR（可验证奖励）训练出昂贵的推理专家，再用 SFT 式蒸馏（教师输出直接微调学生）把能力下放给小模型。但 SFT 蒸馏的两个先天缺陷在推理模型时代被急剧放大：分布错配——长思维链高度依赖学生自己的前文，抄教师的链等于在别人的棋局里学棋；信号浪费——教师明明「知道」每一步该怎么走，学生却只从完整轨迹里自己悟。学术侧，GKD 与 MiniLLM 早已证明 on-policy + reverse KL 的优越性，但工业管线迟迟未采用——缺一个把学术配方改造成可运行工程系统的推手。Thinking Machines Lab（Mira Murati 创办的研究实验室）在 2025 年 10 月 26 日发布了这篇工程博客与配套开源实现（tinker），完成了这最后一公里。
动机
核心论点一句话：蒸馏与强化学习是同一件事的两个极端。SFT 是「零采样成本 + 错误分布上的稠密信号」，RL 是「正确分布上的稀疏信号 + 巨量采样成本」——中间存在一个未被占据的点：学生自己的分布（像 RL）+ 教师逐 token 的稠密反馈（像 SFT）。博客的任务是证明这个中间点在工业规模上真实可达，并给出可复现的实现。
方法
训练循环。学生自回归地生成下一个 token → 教师（同族、可取 logits）计算该 token 的 logprob → 学生以最小化两者差异为目标更新 → 继续。每个 token 都是「学生做一步、教师批一步」。
损失函数的选择。逐 token 损失用学生与教师 logprob 的平方差而非 KL——他们发现平方差对分布外 token 更稳健（KL 对低概率 token 的梯度会被比值放大）。这是一个工程细节决定成败的典型案例。
两族任务的统一处理。可验证任务（数学）：教师的 logprob 反馈本身就是比「最终答案对错」更稠密的监督；不可验证任务（聊天）：同样的循环，教师反馈的是风格与质量信号——不需要奖励模型能刻画的验证器，适用域比 RLVR 宽。
开源实现。配套发布 tinker 训练框架中的参考实现，包括教师在线打分的数据流设计——使社区第一次能以 SFT 级别的工程复杂度跑 on-policy 蒸馏。
实验设置
- 学生/教师：Qwen3-8B-Student（基座）为学生；数学实验的教师是经过 RL 训练的 Qwen3-32B；聊天实验的教师为 Qwen3-32B
- 对照条件（同一学生、同一教师）：SFT 蒸馏（教师完整输出直接微调）、RL（GRPO 可验证奖励）、OPD——算力口径统一
- 数学基准：AIME 2025 等竞赛数学（可验证任务代表）
- 聊天评测：不可验证任务代表，用盲评偏好对比各训练方式
- 诊断实验：countdown 类小任务上做细致的算力-质量曲线分析
结果
- 数学（AIME 2025，pass@1 约数）：基座学生约 13% → SFT 蒸馏约 43% → RL 约 58% → OPD 约 68%（具体以原文图表为准）——OPD 同时优于两条传统路线，且非侥幸：在算力-质量曲线上 OPD 全程占优
- 采样效率：OPD 达到 RL 同等效果只需约 1/8 的 rollout 采样量——教师 logprob 的稠密信号替代了大量试错
- 聊天：OPD 蒸馏的模型盲评显著优于 SFT 蒸馏版，接近教师水平——证明范式不依赖可验证奖励
- 工业扩散速度异常快：Qwen3、Gemini 等后续技术报告相继把（多教师）on-policy 蒸馏写进标准管线；2026 年出现专门的 survey 与后续改进（OPD+ 修正优势估计偏差等）
有趣的洞见
「过程监督」借尸还魂。过程奖励模型（PRM）路线在 DeepSeek-R1 里因标注噪声与 reward hacking 被放弃，但「每一步都需要监督」的需求没死。OPD 给出优雅解法：教师模型本身就是过程监督——它的 logprob 是对每一步的即时评价，天然稠密、天然与任务对齐、无标注成本。PRM 之死与 OPD 之兴是同一问题的两次回答：监督信号不必人工构造，可以从更强的模型身上直接引流。
「前沿探索、蒸馏下放」的工业分工正式确立。RL 训练前沿教师贵但只训一次，OPD 下放便宜且可对每个学生规模重复——这个经济学结构决定了 2026 年的开源生态：前沿实验室用 RL 突破天花板，中小模型几乎全部是蒸馏产物（Qwen3 系列即典型）。评估任何「小模型能力突飞猛进」的新闻时，第一个该问的问题：它的教师是谁。
一个模型的三个身份。同一模型在不同训练叙事里分别是蒸馏教师、RL 的奖励来源（RLAIF）、评估裁判（LLM-as-judge）——三种角色的数学形式惊人一致：都在模型分布上提供一个标量/分布信号。OPD 的流行加速了这种融合：后训练正在收敛为一个统一的框架「在学生分布上优化外部模型提供的信号」，GKD 的理论预言在工业层兑现。
批判性评价
最弱的一环：非同行评审的工程博客——实验集中在 Qwen3 单一模型家族，结论的外部效度待验（2026 年的后续论文确实发现 OPD 在某些配置下失效，出现了「OPD 何时失败与如何恢复」的专门研究方向）；教师封顶问题未解：学生上限被教师能力锁死，「学生超越教师」在 reverse KL 的 mode-seeking 特性下理论上受限；工程前提苛刻：教师必须同族且开放 logits——对闭源 API 教师不可用，蒸馏生态被锁在开源家族内部；教师在线打分的推理成本在超长思维链场景仍不可忽略。
依然重要的理由：它把学术上正确了两年（GKD/MiniLLM）但工业上无人采用的配方，通过精细的工程化（平方差损失、tinker 实现）变成人人可跑的标准工序，是「最后一公里创新」的教科书案例。此后推理小模型的成本曲线、开源模型的能力密度、乃至「蒸馏即服务」的商业模式，都建立在这篇博客铺设的轨道上。连同 Hinton 蒸馏与 GKD，它构成「知识如何在模型间流动」这条十年主线的当代终点（亦是下一段的起点）。