Distilling the Knowledge in a Neural Network
Hinton, Vinyals, Dean · arXiv 2015（NeurIPS 2014 DL Workshop） · 2015
阅读原文知识蒸馏的开山之作：soft targets 携带类间相似性结构（「暗知识」），温度参数把它蒸馏进一个小模型——此后十年所有蒸馏方法的共同祖先。
核心要点
- 知识的重新定义：模型学到的不只是正确答案，还有对错误答案的相对判断——「3 更像 8 而不像 0」这类相似性结构才是泛化的来源，soft targets 是它的载体。
- 温度参数是蒸馏的核心旋钮：高温放大小概率类的信号，让「暗知识」可见；训练学生时用高温对齐 soft 分布，推理时恢复常规温度。
- 集成知识的无损压缩：ensemble 在推理时的优势大部分可以被蒸馏进单个可部署模型——「训练时用大模型探索、部署时用小模型运行」的分工从这里开始。
背景
2014 年前后的深度学习实践有一个公开的秘密：最好的模型从来不能部署。ImageNet / 语音识别的冠军方案动辄是几十个模型的 ensemble，训练精度领先单模型数个百分点，但推理成本也翻几十倍——手机端、线上服务都用不起。模型压缩因此成为迫切的工程问题。
把大模型「变小」的朴素尝试当时已有：Ba & Caruana (2014) 证明用小模型直接回归 ensemble 的 logits（未过 softmax 的原始输出），比用 one-hot 标签训练更接近 ensemble 的效果——说明 ensemble 的输出里「有货」。但为什么 logits 有效、怎样系统地做，没有理论也没有框架。Hinton 在 2014 年的 NeurIPS Deep Learning Workshop 上给出了这个框架，2015 年整理成 arXiv 论文。
动机
Hinton 的出发点是一次概念重构：模型的参数是知识的存储介质，训练目标却只传递极少量信息。one-hot 标签只告诉模型「答案是 3」，但训练好的模型对「3 还是 8」的犹豫程度本身携带了大量关于任务几何的知识——哪些类彼此相似、决策边界在哪里。他把这些藏在错误答案相对概率里的信息称为暗知识（dark knowledge）。论文要回答的问题：能否设计一个训练目标，把 teacher 模型（或 ensemble）的暗知识完整地转移进一个小模型？
方法
温度软化（softmax with temperature）。核心机制只有一行公式：将 softmax 改为 (q_i = \exp(z_i/T) / \sum_j \exp(z_j/T))。低温时分布尖锐（逼近 argmax），高温时分布平滑——小概率类的相对差异被放大为可学习的信号（teacher 给「3」0.01、「8」0.009 的差别在低温下不可见，高温下成为明确的监督信号）。
蒸馏损失。学生在高温 T 下最小化自己与 teacher soft 分布的交叉熵（等价于 KL 散度），叠加一个低温（T=1）的常规监督项保证正确性。论文还证明：当 T 足够大时，该目标等价于最小化 teacher 与学生 logits 的均方差——一条通往现代「logit 蒸馏」的直接路径。
Specialist networks。针对大类数任务：与其用一个巨型模型学所有类，不如训练一组「专家」模型各管一组易混淆的类，再把通用模型与专家们一起蒸馏进单模型——用「分工的 ensemble」降低训练成本。
实验设置
- MNIST：大模型 / 集成作为 teacher，极小模型作 student；含极端压力测试（隐藏部分输入像素，看 student 是否学到了泛化的相似性结构而非记忆）
- 语音识别：Android 语音搜索的大规模深度 ensemble，蒸馏为单模型，与「ensemble 几何平均」直接对比
- JFT 图像分类（Google 内部 1 亿样本、1.5 万类）：通用模型 + 按类聚类的 specialists，蒸馏融合后送评测
- 对照基线：one-hot 标签直接训练的小模型、用 logits 回归的小模型（Ba & Caruana 路线）
结果
- MNIST：student 在参数量小一两个数量级的约束下，测试错误率接近 teacher ensemble（具体以原文表格为准）——被蒸馏的不只是「正确答案」，还有决策边界的形状
- 语音：蒸馏出的单模型显著优于同规模直接训练的模型，逼近 ensemble 几何平均的精度——工程上首次做到「ensemble 的精度、单模型的速度」
- JFT：generalist + specialists 的蒸馏组合相对单一大模型取得明显提升，验证了 specialist 分工在超大类数任务上的价值
- 温度的经验规律：蒸馏阶段 T 通常取远大于 1 的值效果最好，最优温度随任务变化——纯经验参数，无理论指导（这成了后续十年反复讨论的遗留问题）
有趣的洞见
「模型是知识的容器，不是计算的程序」。这篇论文最大的遗产是一次视角转换：训练产出（尤其是 soft 输出）被当作可传递的知识本身。这个视角的极限版本正是现代 LLM：预训练模型是「文明知识的压缩包」，蒸馏是知识的再分配。从本文到 DeepSeek-R1 的 80 万蒸馏样本再到 On-Policy Distillation，十年主线一以贯之：知识可以在计算体之间流动，而不必重新从数据中学得。
暗知识就是「泛化的形状」。one-hot 标签是二维的（对/错），soft targets 是 N 维的（对每个类的相对判断）。后者的信息量解释了为什么蒸馏能超越教师标签训练的小模型——学生在模仿 teacher 的整个决策地形，而不只是它的落点。当代 RLHF 里 teacher logprob 的逐 token 反馈、OPD 里教师对推理链每一步的评价，全部是同一思想的时序展开。
「压缩即学习」的时间胶囊。Hinton 在文中以信息论视角讨论「模型必须压缩泛化所需的信息，因此知识 = 压缩」——这与 Solomonoff 归纳、MDL 的传统一脉相承，并在十年后成为解释 LLM 涌现能力的主流框架（「模型为什么泛化：因为它被迫压缩训练数据」）。一篇工程论文埋下了一条理论路线的种子。
批判性评价
最弱的一环：机制解释从头到尾是经验性的——为什么高温有效、最优温度如何选择，至今没有公认理论（后续研究甚至发现部分蒸馏收益只是 label smoothing 式正则化，Beyer et al. 2022 的质疑文章直接题为「Knowledge is in the weights」）。实验场景（小分类任务）与现代场景（自回归生成、海量开放任务）距离遥远：本文的方法在 LLM 时代几乎不能直接使用——自回归蒸馏的分布错配问题（见 GKD）是它的框架完全没有预料到的。
依然重要的理由：它是整个蒸馏领域的概念地基——温度、soft targets、teacher-student 范式全部出自这里，后续所有工作（无论 logit 蒸馏、序列蒸馏还是 on-policy 蒸馏）都在回答同一组问题的更难版本：知识在哪里、怎么取出、装进什么容器。不读它，OPD 的损失函数就像凭空出现的咒语。