DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning
★★★★★DeepSeek-AI · arXiv 2025 2025
纯可验证奖励的强化学习（GRPO）无需过程标注即诱发长链推理与自我修正，并以 MIT 协议开源——推理模型的民主化时刻。
测试时计算与推理模型
Test-Time Compute 活跃前沿把算力从训练挪到推理：o1 开创、DeepSeek-R1 民主化的「想得越久答得越好」范式。
代表机构： OpenAIDeepSeekGoogle DeepMind (Gemini Thinking)
概述
o1（2024）确立了一个此前只在小规模验证过的范式：给模型「思考预算」，用 RL 优化长推理轨迹，测试时算力与答案质量近似单调相关。数学、代码、科学推理的基准曲线被整体抬升——AIME、IOI 级别任务从「模型做不对」变成「模型想一会儿就能对」。
DeepSeek-R1（2025）的冲击在于两点：其一，纯可验证奖励的 RL（GRPO）无需人工过程标注即可诱发反思、验证、回溯等「自发行为」，甚至出现被社区称为「顿悟」的 mid-trajectory 转向；其二，MIT 协议开源把这套能力免费交给了全世界，直接改写了推理 API 的价格体系。
范式也带来新成本：推理算力成为新的预算大头，「何时停止思考」成为优化目标本身；过度思考（overthinking）与奖励作弊（reward hacking）是当前的两大工程敌人。
看点
测试时计算的 Scaling 曲线在哪些任务上会饱和（数学已近高原，开放式研究问题还远）、能否教会模型「分配思考预算」而非一味多想，决定这条路线的天花板。
经典工作
- Let's Verify Step by Step（2023，OpenAI）
- o1 系统卡与 Scaling Test-Time Compute（2024）
- DeepSeek-R1（2025）
论文精读
全部论文 →演进脉络
完整时间线 →-
OpenAI o1：测试时计算的范式确立 2024 年 9 月 12 日
OpenAI 发布 o1，用大规模强化学习训练模型生成更长推理链，在 AIME、Codeforces、博士级科学问题上大幅跃升，「推理时算力换答案质量」成为新的 Scaling 维度。
-
DeepSeek-R1：推理能力的开源冲击波 2025 年 1 月 20 日
DeepSeek-R1 证明纯可验证奖励强化学习（GRPO）无需过程标注即可诱发长链推理与自我反思，以 MIT 协议开放权重与蒸馏版小模型，全球市场与开源生态为之震动。