存在争议 Scaling Laws 与算力经济学
Scaling 的终局：数据墙之后靠什么
为什么重要
过去五年行业的核心投资逻辑建立在「堆算力就能买能力」的幂律之上。如果预训练 Scaling 真的撞上数据墙与收益递减，整个领域的资源分配（训练 vs 后训练 vs 推理）都要重写——这是十亿美元级的不确定性。
关键工作
- Scaling Laws for Neural Language Models（Kaplan 2020）
- Training Compute-Optimal LLMs（Chinchilla 2022）
- The Wall（AI field almanac 关于数据稀缺的分析）
- Llama 3 / Qwen2.5 技术报告（数据超采的实践）
争论的两面
乐观派的证据：幂律没有显示饱和点；合成数据在数学与代码上被验证有效（Phi 系列、Llama 3 后训练）；测试时计算开辟了第二条 Scaling 曲线（o1→R1 已证明）。
悲观派的证据：高质量公开文本的总量是物理上限（估计在 10^14–10^15 token 量级，前沿模型已在逼近）；合成数据存在「自噬」风险（模型吃自己的输出，分布逐渐坍缩）；多轮 Scaling 的边际成本在飙升而基准收益在放缓——头部实验室的内部叙事已从「更大的预训练」转向「更好的后训练」。
我的判断
数据墙大概率不是「撞墙」而是「换挡」：预训练 Scaling 转为渐进改善，能力增益的主战场挪到后训练 RL 与推理期计算。真正的问题是：三条曲线（预训练、后训练、测试时）的最优预算分配是否存在闭式解——目前连经验解都还很粗糙。
值得追踪的信号
前沿模型发布时披露的训练算力与数据配比变化；合成数据占比的公开估计；Epoch AI 对「可用数据池」的年度审计；以及——最诚实的信号——头部实验室人才流向（预训练团队 vs 后训练团队的规模变化）。