预训练与数据

子领域

概述

经典工作

• Scaling Laws for Neural Language Models（2020，Kaplan）
• Training Compute-Optimal Large Language Models（2022，Chinchilla）
• Language Models are Few-Shot Learners（2020，GPT-3）

1. ImageNet 数据集发布 2009 年 6 月 1 日

   李飞飞团队发布含 1400 万标注图像、2 万类别的 ImageNet，用众包完成了此前不可想象的标注工程——三年后它将成就 AlexNet，证明「数据是深度学习的燃料」。

2. Word2Vec：词的意义成为向量 2013 年 8 月 1 日

   Mikolov 的 Word2Vec 用「Skip-gram + 负采样」把词训练成稠密向量，「国王 - 男人 + 女人 ≈ 女王」展示了语义的可计算性，为整个 NLP 的表示学习转向奠基。

3. GPT-1：生成式预训练的开端 2018 年 6 月 11 日

   OpenAI 用「无监督预训练 + 有监督微调」的两段式在多项 NLP 任务上取得领先，确立了 Generative Pre-Training 路线——GPT 系列的第一步。

4. BERT：双向编码器统治 NLP 2018 年 10 月 11 日

   Google 的 BERT 用掩码语言模型 + 双向 Transformer，在十一项 NLP 任务上同时刷新纪录，「预训练语言模型 + 微调」成为行业标准范式，NLP 的 ImageNet 时刻。

5. GPT-2：「too dangerous to release」 2019 年 2 月 14 日

   OpenAI 发布 15 亿参数的 GPT-2，以「防止滥用」为由分阶段开源权重——争议本身成了最好的宣传，也第一次让公众意识到语言模型的能力边界。

6. Scaling Laws：规模化的科学化 2020 年 1 月 23 日

   OpenAI 的 Kaplan 等人系统刻画了损失随模型参数、数据量、算力的幂律关系，把「堆规模」从信仰变成可外推的工程学科，直接奠定了 GPT 系列的投资逻辑。

7. GPT-3：少样本学习的涌现 2020 年 5 月 28 日

   1750 亿参数的 GPT-3 展示了 in-context learning：不更新任何权重，仅在 prompt 中给几个示例即可执行新任务，「大模型即少样本学习者」的范式宣言。

8. Chinchilla：重新计算 Scaling 的账本 2022 年 3 月 29 日

   DeepMind 证明同算力下「更小模型 × 更多数据」优于 Kaplan 曲线的建议，70B 参数的 Chinchilla 打败 280B 的 Gopher，行业模型尺寸策略随之改写。

9. LLaMA 开源：开源大模型的引爆点 2023 年 2 月 24 日

   Meta 开放 LLaMA 系列权重（研究许可，随后一周即泄露扩散），社区迅速跑通微调生态——Alpaca、Vicuna 在数周内涌现，开源大模型时代不可逆转地开启。

10. GPT-4 发布：多模态前沿旗舰 2023 年 3 月 14 日

    OpenAI 发布 GPT-4，支持图像输入，在律考、AP 等人类考试中进入前 10%，配合微软全面产品化，确立「前沿模型」的竞争格局——也开创了不再公开技术细节的先例。

11. DeepSeek-V3：开源效率的极致 2024 年 12 月 26 日

    DeepSeek-V3 以 671B 总参 / 37B 激活的 MoE 架构、约 558 万美元的训练成本逼近闭源前沿，MLA + 无辅助损失负载均衡 + FP8 混合精度训练成为效率工程的新教科书。