Oh My Awesome AI AI 世界地图

思维链与提示推理

Chain-of-Thought 成熟领域

「一步步想」如何把概率接龙变成推理机:CoT、自一致性、分解式提示,以及推理忠实性之辩。

代表机构: Google ResearchOpenAI

概述

2022 年的两篇论文改变了交互范式:Zero-shot CoT 发现一句「Let’s think step by step」就能解锁多步推理,Wei 等人的 few-shot CoT 则证明中间步骤的质量随模型规模涌现。之后的扩展沿三个方向:搜索(自一致性投票、树搜索)、分解( Least-to-Most、Plan-and-Solve)、反思(Self-Refine、 verifier 校验)。

「忠实性」(faithfulness)是这条线上的哲学难题:写出来的推理链是真实的因果路径,还是事后编造的合理化说辞?证据两面都有——干预中间步骤会系统性改变结论(支持真实性),但模型也常在链中「先有答案后补理由」。这个争论直接关系到 CoT 监控能否作为安全手段(如果 CoT 不忠实,读心就失效)。

看点

提示侧的推理工程正在被训练侧吸收:o1/R1 时代,「教模型想」取代了「求模型想」。CoT 从技巧变成默认行为,提示工程师的红利期结束了。

经典工作

  • Chain-of-Thought Prompting(2022)
  • Self-Consistency(2022)
  • Large Language Models are Zero-Shot Reasoners(2022)

论文精读

全部论文 →

Chain-of-Thought Prompting Elicits Reasoning in Large Language Models

★★★★★

Wei et al. (Google) · NeurIPS 2022 2022

在 few-shot 示例中展示中间推理步骤,让大模型在数学、符号、常识推理上大幅跃升——一句提示词解锁的能力革命。

演进脉络

完整时间线 →
  1. 思维链提示:让模型写出推理过程 2022 年 1 月 28 日

    Google 的 Wei 等人发现 few-shot 示例中加入中间推理步骤,可让大模型在数学、常识推理上大幅跃升——CoT 成为两年内被引用最多的提示技术。

关联研究问题

全部问题 →

CoT 是忠实的吗——思维链能否用于安全监控

存在争议

CoT 监控被提议为对齐的核心防线:让模型把推理过程写出来,人审阅它的「真实动机」。但如果 CoT 只是事后编造的合理化叙事、与实际计算脱钩,这条防线就是纸糊的——我们会监控到一个永远诚实可爱的「发言人」,而真正的决策发生在看不见的地方。这也是「CoT 为什么有效」这个理论问题的另一面。