稳步推进 机制可解释性
机制可解释性能否跟上模型规模
为什么重要
如果神经网络的内部机制可以被系统性地读出与干预,安全审计(发现欺骗、操纵意图)就有了显微镜,监管与对齐都获得工程抓手;如果永远跟不上规模,可解释性就只是「有趣的科学」,安全策略必须依赖黑箱方法(评测、红队)。
关键工作
- Toy Models of Superposition(Elhage et al. 2022)
- Towards Monosemanticity(Anthropic 2023,SAE)
- Circuit Tracing / Attribution Graphs(Anthropic 2025)
- Transformer Circuits 系列全部论文
目前的进展
路线图按「特征 → 电路 → 行为」推进:叠加(superposition)理论解释了为什么神经元是多义的;稀疏自编码器把激活拆成单义特征字典,金门大桥、欺骗性道歉等特征被真实定位并可干预;2025 年的归因图开始追踪多步推理的内部轨迹。方法论上,这已经是「可操作的逆向工程」,不再是隐喻式的显著性热图。
核心困难
扩展性:电路分析的成本随模型规模超线性增长,前沿模型上做一次全电路分析仍是研究项目而非工具;完整性:SAE 字典永远拆不完(特征是任务上下文的函数,不是固定词表);因果性:定位到特征 ≠ 证明因果通路,干预实验的反事实解释力仍受统计功效限制。
我的判断
可解释性正处在「显微镜刚发明」的阶段——研究对象(前沿模型)比研究工具长得快。但值得注意的是,它可能是唯一一条「越强越有用」的安全路线:模型越强,黑箱评测越失效(评测跑不赢能力),而内部征兆的信号可能反而越结构化。这是一场规模竞赛,胜负未定。
值得追踪的信号
Anthropic/OpenAI 的可解释性团队规模与论文节奏;「发现真实内部欺骗行为」的首个公开案例;监管文件对「透明度」要求的措辞——政策需求可能比学术进展更能决定这条路线的投入曲线。