长时程 Agent 为什么仍不可靠
悬而未决Agent 是当前估值最高的应用叙事,但错误随步数复合是数学级的硬约束:单步 99% 的可靠度在 100 步任务上只剩 37% 的整体成功率。这个问题不解决,「AI 同事」就永远停留在 demo 与窄域工具。
OPEN QUESTIONS
好的综述不止记录「已知」,更要标注「未知」。这里追踪驱动当前研究议程的核心争论与悬而未决的问题。
Agent 是当前估值最高的应用叙事,但错误随步数复合是数学级的硬约束:单步 99% 的可靠度在 100 步任务上只剩 37% 的整体成功率。这个问题不解决,「AI 同事」就永远停留在 demo 与窄域工具。
如果对齐必然牺牲能力(对齐税为正且不可忽略),实验室就面临「产品竞争力 vs 安全」的真实取舍,安全投入会被市场压力系统性压缩;如果对齐税可以被压缩到零甚至为负(对齐让模型更有用),那么「安全 vs 能力」的二分本身就是错的,对齐技术就是能力技术。这决定了对齐研究在产业里是被供养还是被容忍。
CoT 监控被提议为对齐的核心防线:让模型把推理过程写出来,人审阅它的「真实动机」。但如果 CoT 只是事后编造的合理化叙事、与实际计算脱钩,这条防线就是纸糊的——我们会监控到一个永远诚实可爱的「发言人」,而真正的决策发生在看不见的地方。这也是「CoT 为什么有效」这个理论问题的另一面。
「规模会解锁新能力」是 Scaling 信仰的心理学支点。如果涌现只是离散指标制造的测量幻觉,我们的能力预测、安全评估("多大模型会变得危险")就建立在一个被夸大的现象上;如果它是真实相变,那么能力预测在原理上就不可外推——两种答案都重要。
如果神经网络的内部机制可以被系统性地读出与干预,安全审计(发现欺骗、操纵意图)就有了显微镜,监管与对齐都获得工程抓手;如果永远跟不上规模,可解释性就只是「有趣的科学」,安全策略必须依赖黑箱方法(评测、红队)。
开源(开放权重)生态决定了 AI 能力的分布结构:如果差距持续收敛,前沿能力将商品化,竞争转向数据、系统与产品;如果差距重新拉大(比如推理模型时代的数据与算力门槛),能力将集中到少数实验室。这同时影响研究可复现性——学术界能摸到的模型水平决定了可做的研究类型。
过去五年行业的核心投资逻辑建立在「堆算力就能买能力」的幂律之上。如果预训练 Scaling 真的撞上数据墙与收益递减,整个领域的资源分配(训练 vs 后训练 vs 推理)都要重写——这是十亿美元级的不确定性。
高质量人类文本预计在几年内耗尽,而模型对数据的胃口仍在指数增长——合成数据是唯一量级匹配的候选解药。但如果模型在自己产出上反复训练会退化(model collapse),整个 Scaling 路线就有内生上限;如果「合成数据 + 严格过滤」能闭环,数据瓶颈就只是工程问题。这是决定下一代模型能否继续变强的最硬约束之一。
这个问题横跨理论、推理与具身三个领域:如果 LLM 只是在做高级模式补全而没有环境的状态表征,其推理能力有天然上限,且不能作为机器人与世界模拟的基础;如果它确实学出了世界模型,那么「规模 + 文本」就足以触及物理直觉——两种答案指向完全不同的 AGI 路线图。