从 Scaling Laws 到 Test-time Compute——能力增长叙事的十年变迁
2015 年的叙事是「更深」，2020 年是「更大」，2025 年是「想更久」。这篇综述沿时间线梳理三次能力增长范式的转移：各自的证据、失效的边界、以及每次转移发生前被忽视的信号。
「怎么让模型更强」这个问题，十年来有过三个标准答案：更深的网络、更大的数据与参数、更长的推理时间。每次答案更换都伴随着上一代叙事的失灵，而失灵的信号往往在范式转移被承认之前就已经公开可见——只是没人愿意在牛市里谈论天花板。这篇综述把三次转移串起来读，重点不是复述历史，而是提取「范式还能撑多久」的判断方法。
第一幕：深度即能力（2012–2019）
AlexNet 之后的直觉很简单：层数加深，表达力增强。ResNet 用残差连接把深度推到上百层，视觉任务的性能随深度持续改善。但这个叙事有两个内在约束：任务固定（ImageNet 类）、监督信号是人工标注。深度的收益本质上是在固定数据分布上榨取表示效率——一旦数据分布改变（领域迁移、对抗样本），深层网络的优势迅速蒸发。
这一幕留下的遗产是工程性的：初始化、归一化、残差连接——「让梯度流过深网络」的整套工具箱。它也留下了一个被低估的教训：当改进来自架构时，改进是可复用的；当改进来自规模时，改进是可消耗的。
第二幕：规模即能力（2020–2024）
GPT-3 是叙事的引爆点：不做任何架构创新（相对 GPT-2 只是放大 100 倍以上），few-shot 能力却涌现。Kaplan et al. 的 Scaling Laws 给了这个观察理论形态——损失随参数、数据、算力按幂律可预测地下降；Chinchilla 修正了配比（同样算力下数据要更多），进一步把「规模」变成一门可计算的科学。
这一时期的信仰基础是：损失下降 → 能力上升 → 商业价值上升，三段链条都很稳。动摇从链条中段开始。涌现能力的度量争论（见 研究问题：涌现能力）让「损失预测能力」的可靠性存疑；更实际的问题是天花板：高质量网络文本有限、算力成本指数上升、延迟与部署压力使「更大」在产品侧不再无脑正确。
2024 年前后，多个实验室发现预训练损失的改善不再线性转化为基准分数的改善——第二段链条在高位断裂。
第三幕：推理时间即能力（2024–）
o1 与 DeepSeek-R1 开启的范式：训练阶段不再（只）追求下一词预测的精度，而是用可验证奖励的强化学习（RLVR）训练模型「在推理时多想」——生成长思维链、自我纠错、回溯。能力的增长轴从参数规模挪到了推理时的计算量。
这个范式的迷人之处在于它重新定义了 Scaling 的对象：算力从一次性的训练成本变成可按请求分配的运营变量，同一个模型可以在「便宜快」与「贵慢准」之间连续调节。它的脆弱之处同样明显：收益目前集中在可验证领域（数学、代码、形式化推理），开放域的「想更久」经常只是变长的啰嗦；而且推理成本意味着每次能力提升都直接加在服务成本上，单位能力的经济学比预训练时代苛刻得多。
三次转移有一个共同的隐含结构：增长轴每次都从「静态资产」（架构、参数）挪向「动态消耗」（数据、计算时间）——能力越来越像流量，而不是存量。
被忽视的信号，以及这次怎么用
回看两次转移，前兆信号都提前一两年公开存在：ResNet 之前，深度网络的训练困难（梯度消失）已被充分讨论；预训练数据枯竭的估算在 2022 年就有论文发表。范式转移不是被预测出来的，是被成本曲线逼出来的。
对当下的启示：第三幕的天花板信号不在论文里，而在经济学里——当「多想十分钟」换来的边际准确率不再覆盖推理成本，或当可验证领域的 RLVR 数据被刷尽，下一次转移就会开始。候选的第四轴已经隐约可见：环境交互（Agent 时代的经验数据）与持续学习。这个判断我放在 研究问题：Scaling 的终局 里持续追踪。
本站的时间线页可以按年回看这段历史：2015 ResNet → 2020 Scaling Laws → 2024 o1。综述会随理解更新，欢迎在关于页查看写作规范与修订记录的方式。