Training language models to follow instructions with human feedback (InstructGPT)

背景

GPT-3 之后，OpenAI 的 API 用户很快发现一个尴尬的事实：模型「知道」很多东西，但不会好好回答——你问它「给我解释一下量子隧道」，它可能续写出一篇关于「别人问这个问题时会得到什么回答」的元文本，因为它学到的是「互联网文本长什么样」而不是「助手该怎么做」。用户的真实意图（指令）与训练目标（下一词预测）之间存在系统性鸿沟。

当时业界有两个补丁方案：prompt 工程（在输入端绕，GPT-3 论文已经展示）和微调（每个任务一份标注数据）。InstructGPT 选择第三条路：用人类反馈直接把「跟随指令」训练进模型。它的前身是 2022 年 1 月的 WebGPT 与各RLHF 早期实验，本文是集大成。

动机

让语言模型对人类「有用、诚实、无害」（3H 目标），且不用把参数堆到天文数字。作者有一个明确的产品判断：175B 模型答非所问，不如 1.3B 模型听懂人话。如果对齐能以「行为适配」而非「能力堆叠」的方式补齐可用性，模型的产品价值可以在参数不变的前提下提升一个档次——这既是对齐论文，也是商业论证。

方法

三段式流水线，每段解决一个不同的问题：

第一步 SFT（监督微调）：标注员对真实 prompt 写「理想回答」（演示数据），用标准下一词损失微调 13k 条。这一步教「格式与姿态」——模型学会以助手身份组织回答。问题：人类示范的分布很窄（每个人都写得保守、雷同），模型很快过拟合，SFT 模型在留出集上 loss 已经上升但人类偏好还在变好——「人类偏好的最优解不在语言建模的最优解上」。

第二步 RM（奖励模型）：对同一个 prompt，模型生成 4-9 个回答，标注员做 pairwise 排序（33k prompt），用 Bradley-Terry 结构训练 RM 打分。两个关键工程决策：(1) 用比较而非绝对打分——人类的 rating 噪声大、标尺漂移，但 A 好于 B 的一致性高得多；(2) RM 规模上限 6B 而非 175B——大 RM 在验证集上反而过拟合（偏好数据只有几万条，撑不起百亿参数）。

第三步 PPO（强化学习）：以 RM 为奖励信号优化策略（31k prompt）。防崩溃的三道保险：KL 惩罚把策略锚在 SFT 模型附近（防止为讨好 RM 而输出乱码）；奖励归一化（减去参考值）；早期版本还把「任务前缀上的原始语言建模损失」混入目标（PPO-ptx），防止公共草地上遗忘预训练能力。

实验设置

• 模型：GPT-3 三档基座 1.3B / 6B / 175B，各自跑完三段流水线
• 数据：全部来自真实分布——API 请求采样 + 标注员手写的用例（开放域问答、头脑风暴、改写、代码等分类，按实际使用频率加权）；标注团队 40 人（合同工），经过对齐培训，多样性政策（不强行统一标注风格）
• 评测：留出 prompt 上由「另一组」标注员做模型输出的 head-to-head 偏好比较；TruthfulQA（真实性）、RealToxicityPrompts（毒性）、公开 NLP 基准（检查能力税）
• 基线：GPT-3 原始模型（few-shot prompt）、SFT-only、PPO-ptx 消融、FLAN/T0 等指令微调模型

结果

• 核心数字：1.3B InstructGPT 的输出被偏好于 175B GPT-3 的概率约 85%——参数差 134 倍，偏好被碾压。「对齐换来的可用性 > 两个数量级的规模」是本文最重要的实证结论
• 真实性：TruthfulQA 上 InstructGPT 显示更多真实行为、更少编造（相比 GPT-3 few-shot 约 2 倍改进量级）
• 毒性：默认设定下毒性略升（模型话更多），但加一句「请用尊重的语气回答」的指令就能显著压低——「可控性」首次成为可度量的属性
• 能力税：公开 NLP 基准（如 SQuAD 类闭卷任务）略降但幅度小
• 消融真相：SFT 已拿到大部分收益，PPO 的边际贡献集中在「更符合意图、更少编造」与 RM 偏好分——RLHF 相对 SFT 的提升真实但小于直觉
• 175B 与 6B 的 RLHF 收益都成立，说明对齐收益与规模基本正交

有趣的洞见

「知道」与「说」是两个能力。基座 GPT-3 在 few-shot prompt 下能展示知识，但默认行为是「续写互联网」；InstructGPT 证明「以什么身份、什么格式、什么分寸说话」是一个可独立训练的行为层。这个「能力/行为」分离是此后所有对齐工作的隐含前提。

RM 学的是偏好不是真理。奖励模型被「看起来更专业的长回答」系统性讨好（length bias 在本文已可测量），标注员自己也不可避免地偏好自信、结构化、圆滑的输出。后来的一切 RLHF 遗留问题（sycophancy 谄媚、过度道歉、格式八股）都根植于此：你在优化「人类喜欢什么」，而人类喜欢的不等于正确的。

数据的分布代表性是隐藏的第一变量。论文用整节讨论「真实 prompt 从哪来」：API 流量 + 用例细分采样。后来开源社区复现 RLHF 时效果参差，多数差距不在算法而在指令分布的代表性——这条经验比 PPO 的任何超参都重要。

批判性评价

最弱的一环：偏好数据的「真值」问题被绕过。标注员之间的一致性并不高，论文用多人标注与多数决处理，但没有回答「当用户偏好与标注员偏好冲突时听谁的」——产品上线后这个问题立刻现实化（ChatGPT 的过度谨慎被广泛抱怨）。另外 PPO 的工程复杂度（4 个模型同时在显存里滚动）被论文轻描淡写，这直接催生了后来的 DPO 路线。

依然重要的理由：它是 ChatGPT 的直接技术蓝图（ChatGPT ≈ InstructGPT 配方 + 更大数据 + 对话化），也是「对齐作为产品方法」的第一次成功验证。三段式流水线至今仍是所有对话模型的骨架——即使 PPO 被换掉，SFT→偏好学习→策略优化的结构从未被动摇。