合成数据：解药还是自噬
为什么重要
高质量人类文本预计在几年内耗尽，而模型对数据的胃口仍在指数增长——合成数据是唯一量级匹配的候选解药。但如果模型在自己产出上反复训练会退化（model collapse），整个 Scaling 路线就有内生上限；如果「合成数据 + 严格过滤」能闭环，数据瓶颈就只是工程问题。这是决定下一代模型能否继续变强的最硬约束之一。
关键工作
- The Curse of Recursion（Shumailov et al. 2023，model collapse 理论）
- phi 系列「教科书级合成数据」报告（Microsoft 2023–2024）
- FineWeb / Dolma 等开放数据管线的过滤策略
- Llama 3 / DeepSeek-V3 技术报告中的合成数据配比
争论的两面
自噬派：Shumailov 等人的递归训练理论显示，模型在自身输出上迭代训练会逐步丢失分布尾部，收敛到方差不断缩小的「均值世界」——尾巴上的少数派事实与长尾能力最先消失。经验证据：早期被 Reddit 垃圾语料污染的数据集训练出的模型确实退化；无条件采样的合成文本会放大模型的系统性偏见。
解药派：退化的前提是「无过滤的闭环」。实践中没有人直接拿模型输出回灌：phi 系列证明 GPT-4 级模型生成的教科书式数据能让小模型打出远超同规模的成绩；数学与代码领域，可验证奖励（答案对/测试过）让合成数据可以闭环且不退化——验证器充当了质量闸门。DeepSeek-V3 报告中数学与代码数据的相当比例已经是合成的。
我的判断
正确的问题不是「合成数据行不行」，而是「什么领域能为合成数据提供验证信号」。数学、代码、形式化推理：可以，因为正确性可判定，合成数据等于把 RL 的奖励信号变成了数据信号；开放域知识、写作、价值判断：危险，因为验证器就是模型自己，闭环会缓慢漂移。未来模型的配比表里，人类数据会退化为「风格与价值观的种子」，能力增长主要由带验证的合成数据驱动。
值得追踪的信号
各实验室技术报告中合成数据配比的披露程度；「合成数据scaling law」（合成数据量 vs 下游能力）的实证工作；模型生成数据被检测与再污染（contamination）的追踪方法；小模型 + 精数据路线与堆量路线的能力交叉点。