DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning

背景

2024 年 9 月 OpenAI 发布 o1：用「强化学习 + 长思维链」把推理时间计算变成新的扩展轴，在 AIME、Codeforces 这类可验证任务上断层式领先。但 o1 只开放 API，奖励设计、数据配比、RL 细节全部保密——开源界的复现尝试（Marco-o1、Sky-T1 等）效果明显落后，社区一度怀疑「推理能力是否只能靠蒸馏闭源模型的输出」。

DeepSeek 的技术积累恰好在此刻凑齐：2024 年 4 月的 DeepSeekMath 提出 GRPO，并在数学任务上初步验证了「纯 RL + 可验证奖励」路线；2024 年 12 月的 DeepSeek-V3（671B 参数的 MoE，每 token 激活约 37B）提供了强且便宜的基座。悬而未决的问题只剩一个：不提供任何思维链演示数据，RL 能不能自己「逼」出推理行为？

动机

论文用两条对照路线回答一个问题的两面。R1-Zero 跳过一切监督数据直接做 RL，回答「可能性」——推理行为是可以被奖励塑造出来的，还是必须先被教出来？R1 用多阶段管线回答「可用性」——纯 RL 的产物与用户可用的模型之间隔着哪些工程债？前者是科学实验，后者是产品配方，论文把它们并排放进同一篇。产业层面的动机同样明确：以 MIT 协议把 o1 级能力开源，终结「推理能力只能买」的局面。

方法

GRPO（组相对策略优化）。PPO 需要一个与策略同规模的价值网络来估计基线，显存与训练成本近乎翻倍；GRPO 去掉 critic，对同一道题从当前策略采样一组回答，用组内奖励的归一化值作为优势——「和同题的同伴比」替代「和价值网络的估计比」。这个源自 DeepSeekMath 的算法是整个配方成本上可行的前提。

奖励极简主义。R1-Zero 的全部奖励只有两种：答案正确性（数学答案字符串匹配、代码跑单元测试，纯规则判定，无奖励模型、无人工标注）与格式奖励（要求把思考过程放进 <think> 标签）。没有过程奖励、没有思维链示范——这是「纯 RL」表述的字面含义。

R1-Zero 的涌现行为。训练中平均回答长度持续增长；自我验证（「let me verify」）、反思（「wait」）、推倒重来等行为自发出现，没有任何一个被显式编程。论文原样记录了模型在轨迹里写下的「aha moment」时刻。

R1 的多阶段管线。R1-Zero 的问题可量化：中英混杂、可读性差、格式不稳。R1 用四个阶段修补：

1. 冷启动 SFT：数千条高质量长思维链样本，先给模型一个格式锚点；
2. 推理导向 RL：与 R1-Zero 相同的可验证奖励，追加语言一致性奖励缓解混杂；
3. 拒绝采样 + SFT：从 RL 检查点拒绝采样约 60 万条推理数据 + 约 20 万条通用数据（写作、事实问答、翻译、自我认知），全量 SFT——把被纯推理 RL 偏窄化的分布重新拉宽；
4. 全场景 RL：可验证任务用规则奖励，开放任务用奖励模型（帮助性/无害性/真实性），联合训练——推理能力不丢，通用助手能力补齐。

负结果也是方法贡献：PRM（过程奖励）路线放弃——步骤边界难定义、步骤级标注噪声大、且极易被 reward hacking；MCTS 路线放弃——搜索空间随 token 指数爆炸、价值模型的误差沿树累积，一步评错整条路径崩坏。这些失败记录的信息量不亚于正面配方。

蒸馏：从 R1 拒绝采样约 80 万条样本，直接 SFT 到 Qwen2.5 / Llama 3 系列（1.5B–70B），不经过 RL——单独构成一组「能力从哪来」的对照实验。这条蒸馏路线在 2025 年后进化为在线策略蒸馏（OPD），成为 SFT 与 RL 之间的第三条后训练路径。

实验设置

• 基座：DeepSeek-V3（671B MoE / 约 37B 激活）；蒸馏底座 Qwen2.5 与 Llama 3.1/3.3（1.5B / 7B / 8B / 14B / 32B / 70B）
• 基准：AIME 2024（竞赛数学）、MATH-500、GPQA Diamond（研究生级科学问答）、LiveCodeBench、Codeforces（Elo 百分位）、MMLU / MMLU-Pro、SWE-bench Verified
• 对照：OpenAI o1-1217、o1-mini、GPT-4o、Claude 3.5 Sonnet、DeepSeek-V3 基座；论文内部最关键的是两组对照——R1-Zero 对比「基座做 RL 前后」，以及「蒸馏小模型」对比「同规模小模型直接 RL」
• 评测协议：AIME 采用多次采样后的 pass@1 平均以控制采样随机性；所有对照为论文发表时点的快照

结果

• R1-Zero 在 AIME 2024 上 pass@1 约 71.8%，超过 o1-mini——零监督数据下推理行为完全由奖励塑造，这是「RL 可诱发推理」的存在性证明
• R1 在 AIME 79.8%、MATH-500 97.3%、Codeforces 百分位约 96（具体以原文表格为准），与 o1-1217 大致持平、各基准互有胜负——开源模型第一次摸到前沿推理模型的天花板
• 蒸馏完胜直接 RL：R1-Distill-Qwen-32B 的 AIME 约 72.6%，而同底座直接做 RL 只到约 55%；1.5B 蒸馏版在 MATH 类基准上超过 GPT-4o——小模型的推理上限由基座决定，RL 只能激发而不能创造
• R1-Zero 的可用性缺陷被定量确认（语言混杂比例高），是多阶段配方存在的直接理由
• 开源冲击波：MIT 协议 + 权重全开放，数周内 QwQ、OpenThinker 等以它为基线或数据源；发布后一周引发的算力叙事重估，说明技术报告本身也能成为宏观事件

有趣的洞见

「奖励对了，行为自己长出来」。R1-Zero 最深的结论：反思、验证、回溯不是被教的，是奖励压力下被选择出来的——会检查答案的模型答对率更高，检查行为于是被强化。这与演化的适配器逻辑同构：不必设计眼睛，只需让看得清的活得久。代价是行为不可指定——你无法命令模型「在第 N 步反思」，这恰好解释了 R1 为什么退回「少量 SFT 锚格式 + RL 造行为」的混合配方：涌现提供能力，监督提供控制。

「蒸馏 > 直接 RL」是一台关于能力来源的判决机器。小模型直接 RL 撞墙、蒸馏 R1 数据却能起飞，说明 RL 的作用是激发基座内已有但未被组织的潜力，而非注入新知识。此后开源界做推理小模型的主流路线基本放弃「从零 RL」，转向「大模型造数据、小模型 SFT」——论文的蒸馏章节实际上定义了 2025 年小模型推理的工业配方。

「闭源演示 + 开源复现」是理解这个时代的正确单位。OpenAI 展示了天花板但藏起梯子，DeepSeek 公开梯子的每一级（连失败尝试都写了）。从 LLaMA 到 Mistral 再到 R1，每次前沿闭源模型出现后，开源界在 6–12 个月内以更低成本复现核心机制——评估任何「领先 N 个月」的声明时，都应把这条复现曲线算进折旧。读 R1 时把它当作社会现象与算法文献同时阅读，收获翻倍。

批判性评价

最弱的一环：「涌现」的证据是观察性的——aha moment 靠人眼看轨迹判定，没有量化定义，无法排除「基座预训练里已有类似模式、RL 只是放大」的保守解释（蒸馏实验的成功恰恰支持这个解释：V3 基座里本来就有这些行为的原料）。评测层面，AIME/MATH 的高分与真实研究能力之间隔着基准污染与题型分布窄两道坎（选 LiveCodeBench 这类新基准正是为了缓解前者）。GRPO 的组内相对优势在分布偏移下并不稳，后续变体（DAPO、GSPO 等）持续在修——算法本身仍是进行时。

依然重要的理由：它是 test-time compute 范式的开源存在性证明，「可验证奖励 RL」从数学专精走向通用的转折点。GRPO 从此成为开源 RL 的事实标准，80 万蒸馏样本成了社区的标准训练集，「冷启动 → 推理 RL → 拒绝采样 → 全场景 RL」的多阶段配方成了此后推理模型技术报告的默认章节结构。它把正负结果并陈的写法（PRM/MCTS 的失败记录）也为技术报告树立了诚实度的新标准。