Chain-of-Thought Prompting Elicits Reasoning in Large Language Models

背景

2021 年底的语言模型在「知识型」任务上已经很强，但在「多步推理」上一败涂地：GPT-3 在小学数学应用题（GSM8K）上 few-shot 准确率只有 ~30% 出头，PaLM 540B 用标准 prompting 也只有 17.9%——比小学生的及格线还低。业界的解释倾向于「自回归模型逐 token 生成，没有『想清楚再回答』的结构，天生不适合推理」，解法方向也偏向架构改造（符号系统外挂、神经符号混合）。

同期有一条被忽视的线索：2021 年的多项工作（Nye et al. 的 scratchpad、Kojima 等的 zero-shot「Let’s think step by step」前身）发现让模型「写出中间步骤」有帮助，但都没做系统对照。Jason Wei 与 Google 团队把它变成了一次干净的受控实验。

动机

一个简单的假说：模型答错多步推理题，不是「不会算」，而是「没有草稿纸」——标准 prompting 逼它从问题直接跳到最终答案，所有中间计算必须塞进一次前向传播的隐状态里。如果让模型把中间步骤显式写出来（token 化的草稿纸），每写一步都能为下一步提供条件输入，有效计算深度就随生成长度增加。验证方法极简：只改 few-shot 示例的格式（加不加中间推理步骤），其余全部不变——如果性能大变，说明瓶颈在「过程表达」而不是「知识」。

方法

严格说没有「方法」只有「实验设计」，但这正是它的优雅之处：

CoT Prompting：few-shot 上下文里的每个示例从「问题 → 答案」改成「问题 → 逐步推理 → ✗答案」（推理链用自然语言写，含算式，答案前加「所以答案是 X」标记）。其余（模型、温度、few-shot 数量 K=8）与标准 prompting 完全一致——单变量对照。

三个轴的实验矩阵：

• 模型规模：LaMDA（137B）、GPT-3（175B）、PaLM（8B/62B/540B）三族，覆盖近三个数量级
• 任务类型：算术（GSM8K、SVAMP、AQuA、MAWPS）、符号推理（last letter 连接、coin flip）、常识（StrategyQA、CSQA、体育/日期理解）——刻意覆盖「符号化程度」光谱
• 消融：示例只有答案没有推理（= 标准 few-shot）；推理链只在测试时给不给；「只有计算式没有自然语言」的纯算式变体

示例来源：8 条 GSM8K CoT 示例由作者手写（大多改编自训练集标注的解答），其余任务的示例同样人工构造——注意：CoT 论文的「方法成本」是这些手写示范，经常被忽视。

实验设置

• 模型：LaMDA 137B、GPT-3 175B（davinci）、PaLM 8B/62B/540B；温度 0（贪婪解码）为主
• 数据：GSM8K（8.5K 小学数学题，测试集 1319 题）、SVAMP（更简单算术）、AQuA（代数选择题）、StrategyQA（2-3 步常识策略题）、符号任务两个（字母拼接/翻硬币——纯组合泛化测试）
• 评测：最终答案的精确匹配；人工抽检 50 条 GSM8K CoT 判断「推理与答案一致性」
• 基线：标准 few-shot prompting（同 K、同示例问题，去掉推理步骤）、当时微调 SOTA（GSM8K 上带验证器的微调 GPT-3，约 35-55% 区间）

结果

• GSM8K：PaLM 540B + CoT = 56.9%（标准 prompting 17.9%）——三倍提升，超过当时的微调 SOTA；SVAMP 79%（标准 29%）
• 规模门槝始终成立：PaLM 8B/62B 上 CoT 几乎无收益甚至负收益；LaMDA 137B 有中等收益；只有 540B 出现跃升。「~100B 是 CoT 的涌现门槛」成为最常被引用的结论
• 符号任务同样验证：coin flip 从 PaLM 62B 的 0% 直升 540B CoT 的 ~90%+ 量级（8-shot）——组合泛化被推理链「解锁」
• 常识任务（StrategyQA 约 65-70% 量级）改进幅度小于数学——CoT 的收益与「任务所需的中间步数」正相关
• 错误分析（人工 50 例）：PaLM CoT 的错误只有 8% 是「一步算错」（calculator-level arithmetic），多数错在语义理解——与人类学生的错误结构相反
• 单步任务（多数常识/检索类）CoT 无增益——「多步性」是必要条件

有趣的洞见

Token 是计算。CoT 把「推理」从一次前向传播的隐状态（深度固定、宽度固定）搬进生成的 token 序列（长度可变、每步都可见）——生成 500 个推理 token = 获得了 500 步的串行计算。这个「计算即生成」的视角是后来 test-time compute 范式（o1/R1）的种子：把 CoT 从「提示层技巧」搬进「训练目标」，逻辑从未改变。

能力在权重里，提示只是钥匙。同一套权重，换个示例格式，GSM8K 从 18% 到 57%——说明 540B 的预训练早已编码了逐步推理的能力，标准 prompting 只是没把它激活。涌现门槛的更准确表述是：小模型既写不出正确推理链，也会被长上下文里的复杂示例带偏（它们会模仿格式但模仿不出正确性）。

Prompt 是分布选择器。Self-Consistency（Wang et al.，同期）给同一问题采样多条 CoT、按答案投票，GSM8K 冲到 74%——说明模型内部存在多条「推理路径」，单次贪婪解码只暴露其中一条。CoT 暴露的不是一个能力而是一个能力的分布，这个视角对理解 LLM 输出的随机性与「采样温度」的语义都很有用。

批判性评价

最弱的一环：两个根基问题论文都没有碰。其一，忠实性：模型写的推理链不一定是真实的因果过程——后续 Turpin et al.（2023）证明模型会受偏见影响给出答案、再在 CoT 里编造与真实成因无关的「合理化叙事」，「读 CoT 判断模型诚实」的安全方案根基不稳。其二，涌现 vs 度量：Schaeffer et al.（2023）指出精确匹配是强非线性指标，换成连续指标后「100B 门槛」部分平滑化——CoT 打开的是被离散指标掩盖的连续改善，而不是神秘的相变。

依然重要的理由：它用零训练成本撬动了当时被认为需要专门架构的能力，直接改变了「LLM 会不会推理」的行业判断，也定义了此后三年最重要的产品形态（思维链展示、reasoning 模型、o1 式训练）。作为「涌现能力」叙事的代表作，读懂它的适用边界（多步任务、足够大的模型、需要真实推理链）比记住它的结论更重要。