Oh My Awesome AI AI 世界地图

OPEN QUESTIONS

重要研究问题

好的综述不止记录「已知」,更要标注「未知」。这里追踪驱动当前研究议程的核心争论与悬而未决的问题。

问题状态: 悬而未决稳步推进存在争议部分解决

长时程 Agent 为什么仍不可靠

悬而未决

Agent 是当前估值最高的应用叙事,但错误随步数复合是数学级的硬约束:单步 99% 的可靠度在 100 步任务上只剩 37% 的整体成功率。这个问题不解决,「AI 同事」就永远停留在 demo 与窄域工具。

对齐税——RLHF 让模型变笨了吗

悬而未决

如果对齐必然牺牲能力(对齐税为正且不可忽略),实验室就面临「产品竞争力 vs 安全」的真实取舍,安全投入会被市场压力系统性压缩;如果对齐税可以被压缩到零甚至为负(对齐让模型更有用),那么「安全 vs 能力」的二分本身就是错的,对齐技术就是能力技术。这决定了对齐研究在产业里是被供养还是被容忍。

CoT 是忠实的吗——思维链能否用于安全监控

存在争议

CoT 监控被提议为对齐的核心防线:让模型把推理过程写出来,人审阅它的「真实动机」。但如果 CoT 只是事后编造的合理化叙事、与实际计算脱钩,这条防线就是纸糊的——我们会监控到一个永远诚实可爱的「发言人」,而真正的决策发生在看不见的地方。这也是「CoT 为什么有效」这个理论问题的另一面。

涌现能力:真实相变还是度量假象

存在争议

「规模会解锁新能力」是 Scaling 信仰的心理学支点。如果涌现只是离散指标制造的测量幻觉,我们的能力预测、安全评估("多大模型会变得危险")就建立在一个被夸大的现象上;如果它是真实相变,那么能力预测在原理上就不可外推——两种答案都重要。

机制可解释性能否跟上模型规模

稳步推进

如果神经网络的内部机制可以被系统性地读出与干预,安全审计(发现欺骗、操纵意图)就有了显微镜,监管与对齐都获得工程抓手;如果永远跟不上规模,可解释性就只是「有趣的科学」,安全策略必须依赖黑箱方法(评测、红队)。

开源权重能否持续追平闭源

稳步推进

开源(开放权重)生态决定了 AI 能力的分布结构:如果差距持续收敛,前沿能力将商品化,竞争转向数据、系统与产品;如果差距重新拉大(比如推理模型时代的数据与算力门槛),能力将集中到少数实验室。这同时影响研究可复现性——学术界能摸到的模型水平决定了可做的研究类型。

Scaling 的终局:数据墙之后靠什么

存在争议

过去五年行业的核心投资逻辑建立在「堆算力就能买能力」的幂律之上。如果预训练 Scaling 真的撞上数据墙与收益递减,整个领域的资源分配(训练 vs 后训练 vs 推理)都要重写——这是十亿美元级的不确定性。

合成数据:解药还是自噬

存在争议

高质量人类文本预计在几年内耗尽,而模型对数据的胃口仍在指数增长——合成数据是唯一量级匹配的候选解药。但如果模型在自己产出上反复训练会退化(model collapse),整个 Scaling 路线就有内生上限;如果「合成数据 + 严格过滤」能闭环,数据瓶颈就只是工程问题。这是决定下一代模型能否继续变强的最硬约束之一。

LLM 有世界模型吗

存在争议

这个问题横跨理论、推理与具身三个领域:如果 LLM 只是在做高级模式补全而没有环境的状态表征,其推理能力有天然上限,且不能作为机器人与世界模拟的基础;如果它确实学出了世界模型,那么「规模 + 文本」就足以触及物理直觉——两种答案指向完全不同的 AGI 路线图。