对齐税——RLHF 让模型变笨了吗
悬而未决如果对齐必然牺牲能力（对齐税为正且不可忽略），实验室就面临「产品竞争力 vs 安全」的真实取舍，安全投入会被市场压力系统性压缩；如果对齐税可以被压缩到零甚至为负（对齐让模型更有用），那么「安全 vs 能力」的二分本身就是错的，对齐技术就是能力技术。这决定了对齐研究在产业里是被供养还是被容忍。
安全与对齐
Safety & Alignment 活跃前沿让模型诚实、无害且可监督：Constitutional AI 与可扩展监督、机制可解释性、安全评测与红队、数据治理与内容溯源，以及「对齐能否跑赢能力」的长期博弈。
代表机构： AnthropicOpenAI（Preparedness）DeepMindMETR
子领域
概述
解决什么问题
后训练解决「怎么训练」，这里追问「训练成什么样」。核心问题在模型变强后愈发尖锐：我们如何在无法完全指定目标的情况下，确保越来越强的系统仍然朝着人类利益行事——诚实（不编造、不阿谀）、无害（不作恶、不被滥用）、可监督（人看不懂的地方谁来当裁判）。
当前图景
Constitutional AI 与 RLAIF 把对齐目标从数据集里的暗默约定搬到可公开审计的显式原则；可扩展监督（debate、weak-to-strong）开始回应「模型超过人类评估者之后谁说了算」。可解释性从「事后归因」走向「机制解剖」：稀疏自编码器（SAE）把激活分解为可读特征，归因图开始能追踪多步推理的内部轨迹。安全评测走向标准化：红队自动化、Preparedness 类团队在发布前评估生物/网络/说服等危险能力阈值、模型审计成为监管要求的事实标准（欧盟 AI Act 的评估条款）——但评测与真实风险的差距仍是老大难。第三个审计面在数据与内容边界：成员推断与记忆化研究实证训练数据的隐私泄露，机器遗忘把被遗忘权算法化，水印与 AI 生成检测让输出可溯源——欧盟 AI Act 的透明度条款正把 AI 内容标记变成合规义务。
开放问题
- 可扩展监督：当模型在某方面超过人类评估者，谁来当裁判？
- 机制可解释性的「显微镜」能否赶上模型规模的膨胀速度？
- 对齐税与能力竞赛的冲突：商业压力下，安全投入如何不被挤出？
经典工作
- Constitutional AI（2022，Anthropic）
- Towards Monosemanticity（2023，SAE）
- HarmBench 与危险能力评测（2024）
- A Watermark for Large Language Models（2023，马里兰）
演进脉络
完整时间线 →-
Constitutional AI：用宪法定义对齐 2022 年 12 月 12 日
Anthropic 提出让 AI 依据一部书面「宪法」自我批评与修订（RLAIF），减少对人类标注的依赖，把对齐目标从隐式偏好变成可审计的显式原则。
-
LLM 水印：给生成文本埋统计暗记 2023 年 1 月 24 日
马里兰大学 Kirchenbauer 等人提出「绿名单」软水印：生成时暗中偏好绿色 token、检测时做统计假设检验——LLM 输出溯源自此有了可部署的范式（ICML 2023）。
-
SynthID-Text：水印从论文走进产品 2024 年 10 月 23 日
Google DeepMind 的 SynthID-Text 登上 Nature：锦标赛式采样在生产流量（Gemini 与 AI Studio）上部署水印，假阳性率压到远低于司法证据标准的水平——水印第一次达到工业规模。