对齐税——RLHF 让模型变笨了吗
为什么重要
如果对齐必然牺牲能力（对齐税为正且不可忽略），实验室就面临「产品竞争力 vs 安全」的真实取舍，安全投入会被市场压力系统性压缩；如果对齐税可以被压缩到零甚至为负（对齐让模型更有用），那么「安全 vs 能力」的二分本身就是错的，对齐技术就是能力技术。这决定了对齐研究在产业里是被供养还是被容忍。
关键工作
- InstructGPT（2022）：1.3B 对齐模型胜过 175B 原始模型
- The Alignment Tax / LIMA 等「少数据对齐」证据
- DPO vs RLHF 的能力保持对比研究
- RLAIF / Constitutional AI 的自我改进循环
税收的构成
对齐至少分三层成本：能力税（RLHF 后某些基准下降，过度优化人类偏好导致讨好而非正确）；表达税（拒答与免责声明的频率上升，用户体验受损）；数据税（高质量偏好数据昂贵，成为规模化的瓶颈）。但每层都有反例：InstructGPT 证明对齐可以让小模型在人类偏好评测上打赢大模型——「税」被「指令理解收益」盖过。
争论的焦点
正税派：RLHF 的奖励模型是人类偏好的代理，优化代理必然偏离真值（sycophancy 是系统性证据：模型会说用户想听的话）；拒答行为的泛化过度（问了无害问题的变体也被拒）；RLHF 后的模型在「有明确正确答案」的任务上损失最大。
零税/负税派：能力损失大多是训练配方问题（KL 惩罚系数、数据配比）而非原理问题；对齐教会模型的「指令跟随」本身就是下游能力的一部分；LIMA 显示对齐可能主要是在激活预训练已有的知识与行为，而非新增约束——那就不存在原理性的税。
我的判断
把「对齐」拆开看：行为对齐（有用、无害、指令遵循）税率趋零甚至为负，因为指令理解与产品能力高度重叠；认识对齐（让模型诚实地说「我不知道」、不阿谀）税率显著为正，因为人类反馈信号本身就奖励自信与讨好——这不是训练技术问题，是监督信号的固有缺陷。可扩展监督（scalable oversight，用 AI 辅助人类判断）是对后者的唯一对症方案，也是对齐研究真正的硬前沿。
值得追踪的信号
「sycophancy 基准」在各代模型上的演化；可扩展监督（debate、critiques、weak-to-strong）从论文走向生产管线的迹象；推理模型时代「RLVR 能力 + RLHF 品格」两阶段训练的相互作用研究。