Training Compute-Optimal Large Language Models (Chinchilla)
★★★★★Hoffmann et al. (DeepMind) · NeurIPS 2022 2022
用正确的实验设计修正 Scaling Laws：同算力下参数与数据应等比增长，70B 的 Chinchilla 打败 280B 的 Gopher。
Scaling Laws 与算力经济学
Scaling Laws 活跃前沿损失随算力、数据、参数的幂律下降——及其修订版（Chinchilla）与测试时计算时代的新账本。
代表机构： OpenAIDeepMindEpoch AI（算力审计）
概述
Kaplan 曲线（2020）第一次把「堆算力」变成可外推的工程决策：损失 ∝ 算力的幂律。Chinchilla（2022）修正为「同算力下参数与数据应等比增长」，直接改写了行业的模型尺寸选择——从「大参数、欠数据」转向「小参数、足数据」。2023 年后的实际演进又偏离开 Chinchilla：推理成本占主导后，一次性多花训练算力换更小的损失摊到每次调用更划算（over-train 小模型的经济学）。
Epoch AI 一类机构把「前沿训练的算力账」做成了公开数据集：前沿模型的训练算力约每 5–6 个月翻倍，2024–2025 年已进入 10^26 FLOP 量级。算力、数据、参数的三元约束之外，2024 年加入了第四个变量：测试时计算——o1 式推理把「算力换能力」的兑换点从训练期搬到了推理期，Scaling 的叙事正在被重写。
看点
三条曲线的接力（预训练 → 后训练 RL → 测试时计算）是否存在统一的最优分配定理，是这个时代最值钱的「如果我知道」。
经典工作
- Scaling Laws for Neural Language Models（2020，Kaplan）
- Training Compute-Optimal LLMs（2022，Chinchilla）
- Scaling Test-Time Compute（2024）
论文精读
全部论文 →演进脉络
完整时间线 →-
Scaling Laws：规模化的科学化 2020 年 1 月 23 日
OpenAI 的 Kaplan 等人系统刻画了损失随模型参数、数据量、算力的幂律关系，把「堆规模」从信仰变成可外推的工程学科，直接奠定了 GPT 系列的投资逻辑。
-
Chinchilla：重新计算 Scaling 的账本 2022 年 3 月 29 日
DeepMind 证明同算力下「更小模型 × 更多数据」优于 Kaplan 曲线的建议，70B 参数的 Chinchilla 打败 280B 的 Gopher，行业模型尺寸策略随之改写。