Training Compute-Optimal Large Language Models (Chinchilla)

背景

GPT-3 之后，行业默认「参数优先」：GPT-3 175B 训了 300B token，Gopher（DeepMind 2021）训了 280B 参数却只配了 300B token——按后来 Chinchilla 的标准，这个配比只够喂饱一个 15B 模型。同期 Megatron-Turing NLG 530B 同样「参数大、数据少」。Kaplan 论文给出的「算力翻倍参数 ×1.5」的公式在实践中被进一步放大为「尽可能堆参数」。

但 Gopher 在 MMLU 上只有 60.0%，低于更小的模型应有的表现；数据侧的隐忧也在积累——高质量文本是有限的，「数据墙」论文预计 2026 年前后耗尽。到底该把算力花在参数还是数据上，需要一个干净的答案。

动机

DeepMind 团队（Hoffmann 等）怀疑 Kaplan 的计算最优边界本身有系统偏差，于是重新做实验：训一个参数矩阵（70M-16B，跨 8 个数量级算力 5×10¹⁸-5×10²³ FLOPs，400+ 模型），用三种相互独立的方法估计 C(N, D) 最优前沿，交叉验证后再训一个「按新法则配比」的模型（Chinchilla）去打 Gopher——用实锤证明配比修正的价值。

方法

三种估计方法（这是论文方法论上最值得学的部分）：

方法一：固定参数扫描数据。对每个模型尺寸 N，训练多个 token 数 D，得到每条「损失-数据」曲线——但这里和 Kaplan 的关键区别：学习率调度按最终 token 数设定（cosine 衰减到终点），消除「训练长度与调度耦合」的偏差。

方法二：IsoFLOP 轮廓。固定总算力 C（如 10²¹ FLOPs），在 (N, D) 平面上扫出一条「等算力曲线」，找到该算力下损失最低的谷底点——谷底的 N*(C) 就是该算力的最优尺寸。三个算力档的谷底连线给出 N* ∝ C^α 的斜率。

方法三：参数化损失函数拟合。假设 L(N, D) = E + A/N^α + B/D^β（E 是不可约熵底），在全部 400+ 数据点上做最小二乘拟合，外推任意 (N, D)。

三条线汇聚到同一个结论：N ∝ C^0.50、D ∝ C^0.50**——参数与数据应当等比增长，而不是 Kaplan 的 0.73/0.27。换算成配比：约 20 token / 参数。

Chinchilla 本体：70B 参数 + 1.4T token（约 Gopher 的训练算力，5.76×10²³ FLOPs 量级），数据管道与 Gopher 对齐（MassiveText），架构与 Gopher 相同（未做架构投机）——保证「只有配比不同」的干净对照。

实验设置

• 模型矩阵：70M-16B 参数、5×10¹⁸-5×10²³ FLOPs、900 亿-1.4 万亿 token，400+ 训练
• 评测：MMLU（57 学科选择题）、BIG-bench、阅读理解（RACE）、常识（HellaSwag/PIQA）、LAMBADA、闭卷 QA；对比 Gopher 280B、GPT-3 175B、MT-NLG 530B
• 训练细节：AdamW + cosine 衰减；权重衰减/梯度裁剪/宽度缩放按 Gopher 配方；tokenizer 相同（SentencePiece）
• 数据：MassiveText（~2.2T token 总池，抽取 1.4T 训练，保持分布）

结果

• MMLU：67.6%（Chinchilla 70B）vs Gopher 60.0%（280B）——参数少 4 倍、分数高 7.6 分，直接超 GPT-3 与 MT-NLG
• 43 个子任务中 Chinchilla 对 Gopher 的胜率全面压制（~70%+ 任务占优）；即使 few-shot 也稳定占优
• 推理与微调成本显著更低（参数少 4 倍），「更小但训得更饱」成为性价比代名词
• 回溯检验：GPT-3（175B/300B）按新法则应配 ~3.5T token；Gopher 与 MT-NLG 的「参数过剩」程度更严重
• 副产品：给出任意算力预算下的推荐配比表（如 10²² FLOPs → 13B/260B token），成为此后两年所有预训练项目的起手式（LLaMA 系列就是 Chinchilla-optimal 路线的开源实现）

有趣的洞见

「用更好的实验推翻自家领域的奠基结论」是这篇论文真正的历史地位。没有新架构、没有新算力、没有新数据——只是找出了 Kaplan 实验里被无意固定的自由度（token 预算 + 调度耦合），结论就翻转了。它是「实验设计即科学」的教学案例：任何经验曲线都值得追问「拟合它的数据里，哪些维度被固定了？固定的维度会不会恰好是答案所在的维度？」

20 token/参数法则的产业涟漪。Chinchilla 一纸发表，「堆参数」立即失去合法性：LLaMA（2023.2）7B/1T、13B/1T、65B/1.4T 全面按新配比走，开源社区用「小而饱」的模型第一次逼近闭源前沿。可以说没有 Chinchilla 就没有 Llama 路线的经济学。

定律再次被违反——这次是故意的。2023 年后推理成本进入总账本：一个小模型多训 5 倍数据，单次训练多花钱，但每次推理都省钱——Llama 3 8B 用 15T token（配比 1875:1）远超 Chinchilla 最优。这不是定律失效，而是目标函数从「训练算力最优」换成了「部署生命周期总成本」。计算最优永远是相对于账本定义的。

批判性评价

最弱的一环：结论依赖特定前提——tokenizer、数据质量、训练配方都固定在 2022 年的 DeepMind 管线上。数据质量更高的今天（清洗过的合成数据、教科书级语料），「20:1」的数字本身已无指导意义，等比扩展的定性结论也只在纯预训练阶段成立。另外 Chinchilla 只测了 70B，外推到千亿级是否保持等比，论文本身没有证据（后来 GPT-4 级训练的实际配比依然保密）。

依然重要的理由：它是方法论典范——三种独立估计交叉验证、用受控模型（Chinchilla vs Gopher）做最终裁决。学这篇论文，重点不是背 20:1，而是学「如何审查一条经验定律的实验来源」。