Scaling Laws for Neural Language Models
Kaplan et al. (OpenAI) · arXiv 2020 · 2020
阅读原文首次系统刻画损失随参数、数据、算力的幂律关系，把「堆规模」变成可外推的实验科学。
核心要点
- 损失 L ∝ N^-α、L ∝ D^-β、L ∝ C_min^-γ 的幂律跨越 7 个数量级稳定成立——深度学习里少有的「准定律级」经验规律。
- 幂律意味着收益递减但永不归零：没有明显的「饱和点」，这直接支持了持续堆算力的战略投资。
- 小模型实验可以外推大模型行为——从此大训练前先跑「缩放实验」成为标准工程流程。
- 最优模型尺寸应随算力预算增长而增长，且对固定的两倍算力，参数应增 1.5 倍、数据增 1.4 倍（后被 Chinchilla 修正）。
背景
2019 年之前，「更大的模型更好」是经验共识，但没有任何定量关系：没人知道 10 倍参数换多少损失、多少数据配多少参数、一份算力预算该怎么在「大模型短训练」与「小模型长训练」之间分配。每次大训练都是一次没有先验的豪赌——GPT-2 之后该训多大？没人有依据。
先驱工作其实存在：Hestness et al.（2019）已经在 LSTM/Transformer 上观察到跨数量级的幂律趋势，但没有给出可操作的配比公式。Kaplan et al. 的贡献是把这个观察变成一整套可外推的工程科学。
动机
把「该训多大模型」从品味问题变成计算问题。具体要回答三个问题：(1) 损失随 N（参数）、D（数据）、C（算力）各自怎么变？(2) 固定算力预算下，N 与 D 的最优分配是什么？(3) 小模型上测出的规律能不能外推到大模型——即能不能用便宜实验指导昂贵决策？第三个问题的实用价值最大：如果答案为是，「先跑矩阵再押注」就成为标准流程。
方法
实验设计极其朴素但执行极其系统：在参数 0.1M → 10B（跨 8 个数量级）、数据最多 5B token 的网格上训练了数百个模型（论文口径约 400+），固定其余变量分别扫描 N、D、C，在双对数坐标下找直线。
三个层面的发现：
幂律本身。测试损失 L 对每个因子都服从幂律：L(N) ∝ N^(-0.076)（N < 10⁹ 拟合最佳）、L(D) ∝ D^(-0.095)、L(C_min) ∝ C^(-0.050)。指数很小但为正——收益递减、永不饱和。幂律的凸组合还有个漂亮性质：固定算力时的最优分配公式 N ∝ C^0.73、D ∝ C^0.27（即算力翻倍，参数 ×1.5，数据 ×1.4）。
过拟合相变。数据相对参数太少时（经验上低于约每参数 20 token 量级），损失发散性上升；数据够多时过拟合随规模可控。这给出了「配比」的第一版红线。
计算最优边界。对每个算力预算 C，存在最优模型尺寸 N*(C)——超过它的部分应用「训练更久」而不是「模型更大」。关键结论：大模型是样本高效的——固定算力时，欠训练的大模型优于充分训练的小模型。（这个结论两年后被 Chinchilla 修正为「等比扩展」，Kaplan 的偏差来源见批判节。）
训练动力学附赠品：临界 batch size（B_crit，损失可视为 batch 大小的幂函数，batch 小了浪费算力在同步上、大了浪费在并行上）、梯度噪声尺度随训练进行与模型规模增大而变大——这解释了为什么大模型训练的后期应该用大 batch。
实验设置
- 模型：解码器 Transformer，参数 0.1M-10B；上下文 1024；字节级 BPE tokenizer（词表 ~50k）
- 数据： WebText2、BooksCorpus、CommonCrawl 的 C3、Wikipedia-EN 等子集，按文档采样
- 控制变量：所有模型用相同的学习率调度形状（按 token 数衰减）与超参缩放经验；为避免「训练长度耦合」，固定每个模型的 token 预算做 N 扫描——这个选择后来成为 Chinchilla 攻击的软肋
- 验证手段：幂律拟合的可决系数极高（对数-对数下近乎完美直线）；并做了 tokenizer、上下文长度、数据分布的鲁棒性检查——幂律指数稳中微调
结果
- 三个幂律在 6-7 个数量级范围内成立，测试损失可预测到小数点后约 0.05 的精度
- GPT-3 的训练配方是本论文的直接产物：175B 参数 + 300B token 是当时算力下的近似最优解（按 Kaplan 公式）
- 过拟合阈值经验法则：每参数约 20 token 以上，数据再多才安全
- 训练长度结论：计算最优训练应该「贯穿全程」（没有可提前停的收益），早停不是免费午餐
- 数据污染（测试集混入训练数据）的影响被定量评估为「可忽略」——在 WebText 规模上损失差在 0.001 量级
有趣的洞见
这篇论文改变的不是模型，是决策方式。在它之前，「该训多大」靠品味与预算；在它之后，是回归外推问题。OpenAI 由此建立了「小模型矩阵 → 拟合曲线 → 外推大模型」的军备方法论，GPT-4 的训练决策直接受益。整个 2020-2023 年的算力军备竞赛，都是在幂律坐标系里行军的。
幂律的哲学含义被低估了。为什么是幂律而不是指数饱和？因为语言数据的重尾分布（Zipf 律）+ 模型的「平滑」容量增长共同决定了「每翻一倍算力，损失稳定降一点」——它同时意味着：任何只靠规模的改进都无法一蹴而就，但也不会突然撞墙。这个「永不归零但永远递减」的形状，是整个行业十年乐观主义与焦虑的共同来源。
外推的有效期。论文自己检验过：拟合只用小模型时，对大模型的预测在 10-100 倍外推范围内依然准。这条「小实验指导大决策」的原则后来被反复验证（LLaMA 的尺寸选择、MoE 的配比），是现代 ML 实验方法论的基石。
批判性评价
最弱的一环：Kaplan 的计算最优边界被 Chinchilla 系统性修正。偏差的技术根源在于实验设计：固定 token 预算训练不同尺寸模型，学习率调度与训练长度耦合——大模型在被停止时还远没到「吃饱和」状态，于是「大模型欠训练也占优」的结论被夸大，最优尺寸被高估（Gopher 280B 就是这个错误的产物）。更深的局限：它只描述预训练损失，对后训练（RLHF/RLVR）、推理期算力（test-time compute）完全沉默——2024 年后的主战场恰好在它看不见的地方。定律是时代的函数。
依然重要的理由：它教会行业「把经验规律当作可证伪的对象」——Chinchilla 正是用同样的方法论推翻了它的结论，而这正是科学运作的方式。把 Kaplan 与 Chinchilla 对照读一遍，学到的比两条曲线本身更多。