DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning
★★★★★DeepSeek-AI · arXiv 2025 2025
纯可验证奖励的强化学习（GRPO）无需过程标注即诱发长链推理与自我修正，并以 MIT 协议开源——推理模型的民主化时刻。
后训练与推理
Post-training & Reasoning 活跃前沿预训练之后的全部工序与产出：SFT、偏好对齐（RLHF/DPO）、知识蒸馏（OPD）到可验证奖励的 RL，以及思维链、测试时计算、长上下文等能力范式。
代表机构： OpenAIDeepSeekAnthropicGoogle DeepMind
子领域
RLHF 与偏好学习 活跃前沿
用人类偏好信号塑造模型行为：从 PPO 三段式到 DPO 的扁平化，再到可验证奖励的 RL 复兴。
知识蒸馏与 OPD 活跃前沿
从离线模仿到在线策略蒸馏：学生自己生成、教师逐 token 反馈——SFT 与 RL 之间的第三条后训练路线。
思维链与提示推理 成熟领域
「一步步想」如何把概率接龙变成推理机：CoT、自一致性、分解式提示，以及推理忠实性之辩。
测试时计算与推理模型 活跃前沿
把算力从训练挪到推理：o1 开创、DeepSeek-R1 民主化的「想得越久答得越好」范式。
长上下文 活跃前沿
从 2K 到百万 token：塞得进只是及格线，用得好（跨文档聚合、库级理解）才是前沿。
概述
解决什么问题
预训练给出一个「会接龙的文明」，这个领域负责其后的一切：工序——SFT 教格式与指令、偏好对齐教取舍、RL 教推理——把基座变成可用的产品；以及产出——模型如何「想清楚再回答」，能力边界在哪里。工序与能力在 2024 年后合流为一门工程学科：同一条 RL 管线，奖励换成人类偏好是行为对齐，换成可验证结果就是能力引擎。
当前图景
行为侧：InstructGPT 确立 SFT → RM → PPO 的三段式，DPO 把流程压缩为一步、成为开源社区主流；蒸馏则在 2025 年后从离线模仿升级为在线策略蒸馏（OPD）——学生自己生成、教师逐 token 反馈，成为 SFT 与 RL 之间的第三条路。能力侧：2022 年思维链（CoT）证明「写出中间步骤」即可显著提升推理；2024 年 o1 把测试时计算变成产品——推理时间越长，答案越好，算力从训练侧挪到推理侧；2025 年 DeepSeek-R1 证明纯可验证奖励的 RL（无人工过程标注）即可诱发长链推理与自我修正，「教模型想」正式取代「求模型想」。
与此同时，能力边界的刻画也在精细化：长上下文从「塞得进」走向「用得好」（needle-in-haystack 之后是跨文档聚合），世界模型之辩（LLM 是否有连贯的环境表征）成为检验推理深度的试金石。
开放问题
- 奖励黑客与过度思考：RL 优化代理目标的两大工程天敌，收益边界在哪、何时反而跑偏？
- RL 诱发的推理是真正的「搜索」还是范式记忆的展开？
- 蒸馏的能力上限：学生能否超越教师，还是 reverse KL 注定只能压缩不能创造？
- 行为对齐与能力 RL 共用一条管线时的相互作用——对齐税在推理模型时代的新形态？
- System 1 / System 2 能否在同一个模型内按需切换，而不是分属两个产品档位？
经典工作
- Training language models to follow instructions（2022，InstructGPT）
- Chain-of-Thought Prompting Elicits Reasoning（2022）
- Direct Preference Optimization（2023）
- On-Policy Distillation（2025，Thinking Machines）
- DeepSeek-R1（2025，RL 诱发推理）
论文精读
全部论文 →On-Policy Distillation
★★★★★Lu et al. (Thinking Machines Lab) · Engineering Blog 2025 2025
学生生成、教师逐 token 反馈——同时拿到 SFT 的数据效率与 RL 的分布正确性，用约八分之一的采样算力达到 RL 同等效果，一举把在线策略蒸馏推进工业标准管线。
Direct Preference Optimization
★★★★★Rafailov et al. (Stanford) · NeurIPS 2023 2023
把 RLHF 的「奖励模型 + 强化学习」两步压缩为一步：偏好对的似然比本身就是隐式奖励，直接对语言模型做分类式优化。
GKD: Generalized Knowledge Distillation for Auto-regressive Sequence Models
★★★★★Agarwal et al. (DeepMind) · arXiv 2023 2023
把自回归语言模型的蒸馏统一成「散度 × 数据分布」的设计空间，并证明关键结论：在学生自己生成的序列上用 mode-seeking 散度（reverse KL）最优——On-Policy Distillation 的直接学术源头。
Chain-of-Thought Prompting Elicits Reasoning in Large Language Models
★★★★★Wei et al. (Google) · NeurIPS 2022 2022
在 few-shot 示例中展示中间推理步骤，让大模型在数学、符号、常识推理上大幅跃升——一句提示词解锁的能力革命。
Training language models to follow instructions with human feedback (InstructGPT)
★★★★★Ouyang et al. (OpenAI) · arXiv 2022 2022
SFT → 奖励模型 → PPO 的三段式 RLHF 流水线，1.3B 的对齐模型在人类偏好上碾压 175B 的原始 GPT-3——ChatGPT 的技术蓝图。
Distilling the Knowledge in a Neural Network
★★★★★Hinton, Vinyals, Dean · arXiv 2015（NeurIPS 2014 DL Workshop） 2015
知识蒸馏的开山之作：soft targets 携带类间相似性结构（「暗知识」），温度参数把它蒸馏进一个小模型——此后十年所有蒸馏方法的共同祖先。
演进脉络
完整时间线 →-
思维链提示：让模型写出推理过程 2022 年 1 月 28 日
Google 的 Wei 等人发现 few-shot 示例中加入中间推理步骤，可让大模型在数学、常识推理上大幅跃升——CoT 成为两年内被引用最多的提示技术。
-
InstructGPT：RLHF 从论文走向产品 2022 年 3 月 4 日
OpenAI 用「SFT + 奖励模型 + PPO」三段式让 1.3B 模型的回答比 175B 原始 GPT-3 更受人类偏好，对齐工程首次证明「小而听话」胜过「大而任性」。
-
ChatGPT 发布：AI 的 iPhone 时刻 2022 年 11 月 30 日
OpenAI 上线基于 GPT-3.5 的对话产品，两个月破亿用户创消费应用增速纪录，LLM 从实验室议题变成全球性文化现象，也开启了科技巨头的新军备竞赛。
-
OpenAI o1：测试时计算的范式确立 2024 年 9 月 12 日
OpenAI 发布 o1，用大规模强化学习训练模型生成更长推理链，在 AIME、Codeforces、博士级科学问题上大幅跃升，「推理时算力换答案质量」成为新的 Scaling 维度。
-
DeepSeek-R1：推理能力的开源冲击波 2025 年 1 月 20 日
DeepSeek-R1 证明纯可验证奖励强化学习（GRPO）无需过程标注即可诱发长链推理与自我反思，以 MIT 协议开放权重与蒸馏版小模型，全球市场与开源生态为之震动。
-
On-Policy Distillation——SFT 与 RL 之间的第三条路 2025 年 10 月 26 日
Thinking Machines 发表在线策略蒸馏：学生模型自己生成序列、教师逐 token 反馈（reverse KL），以远少于 RL 的采样量达到同等效果——后训练工具箱自此三足鼎立。
关联研究问题
全部问题 →CoT 是忠实的吗——思维链能否用于安全监控
存在争议CoT 监控被提议为对齐的核心防线：让模型把推理过程写出来，人审阅它的「真实动机」。但如果 CoT 只是事后编造的合理化叙事、与实际计算脱钩，这条防线就是纸糊的——我们会监控到一个永远诚实可爱的「发言人」，而真正的决策发生在看不见的地方。这也是「CoT 为什么有效」这个理论问题的另一面。
LLM 有世界模型吗
存在争议这个问题横跨理论、推理与具身三个领域：如果 LLM 只是在做高级模式补全而没有环境的状态表征，其推理能力有天然上限，且不能作为机器人与世界模拟的基础；如果它确实学出了世界模型，那么「规模 + 文本」就足以触及物理直觉——两种答案指向完全不同的 AGI 路线图。