Direct Preference Optimization
★★★★★Rafailov et al. (Stanford) · NeurIPS 2023 2023
把 RLHF 的「奖励模型 + 强化学习」两步压缩为一步：偏好对的似然比本身就是隐式奖励，直接对语言模型做分类式优化。
RLHF 与偏好学习
RLHF & Preference Learning 活跃前沿用人类偏好信号塑造模型行为：从 PPO 三段式到 DPO 的扁平化，再到可验证奖励的 RL 复兴。
代表机构： OpenAIAnthropicDeepSeek
概述
RLHF 的核心洞见是：人类说不出「好答案的公式」，但认得出「哪个答案更好」。把这种比较信号训练成奖励模型，再用 RL（PPO）最大化它，InstructGPT 用 1.3B 参数 + 偏好数据打赢了 175B 的原始 GPT-3，证明对齐不是「附加项」而是能力的放大器。
2023 年 DPO 把流程压缩为一步：偏好对的似然比本身就是奖励的替身，无需 RM、无需 RL 循环，训练稳定性大增，成为开源社区事实标准。RLHF 的适用范围也在迁移：从「让回答更讨喜」的行为对齐，扩展到「让推理更正确」的能力对齐——GRPO（DeepSeek）等策略配合可验证奖励（代码跑测试、数学对答案），把 RL 从对齐工具变成了能力引擎。
看点
偏好数据的「 diversity 瓶颈」：人类标注偏好覆盖不了模型能力前沿，RLAIF 与可验证奖励是两条出路，各有失真。
经典工作
- Training language models to follow instructions（2022，InstructGPT）
- Direct Preference Optimization（2023）
- DeepSeekMath / GRPO（2024）
论文精读
全部论文 →演进脉络
完整时间线 →-
InstructGPT：RLHF 从论文走向产品 2022 年 3 月 4 日
OpenAI 用「SFT + 奖励模型 + PPO」三段式让 1.3B 模型的回答比 175B 原始 GPT-3 更受人类偏好，对齐工程首次证明「小而听话」胜过「大而任性」。
-
ChatGPT 发布：AI 的 iPhone 时刻 2022 年 11 月 30 日
OpenAI 上线基于 GPT-3.5 的对话产品，两个月破亿用户创消费应用增速纪录，LLM 从实验室议题变成全球性文化现象，也开启了科技巨头的新军备竞赛。