悬而未决 工具使用与函数调用
长时程 Agent 为什么仍不可靠
为什么重要
Agent 是当前估值最高的应用叙事，但错误随步数复合是数学级的硬约束：单步 99% 的可靠度在 100 步任务上只剩 37% 的整体成功率。这个问题不解决，「AI 同事」就永远停留在 demo 与窄域工具。
关键工作
- ReAct（2022）
- SWE-bench 系列评测（2023–2025）
- METR 的任务时长（task-length）研究（2024–2025）
- Claude Code / Devin 的实践报告
问题的解剖
错误复合只是表象，深层原因至少有四层：感知（环境状态观测不全或理解错）、规划（子目标分解错误、前置依赖遗漏）、执行（工具调用的参数与时机出错）、校验（没有意识到自己错了）。每层的错误率相乘，构成整体失败率。
当前的解法光谱
工程派：窄域 + 验证器兜底（代码可跑测试、结果可形式化检查），Claude Code 的成功本质是「领域自带裁判」；架构派：记忆系统、重规划循环、子代理分解（治标，每层都引入新的错误面）；能力派：等待更强的基座模型把单步可靠度推高（METR 数据显示任务时长能力确实在指数提升，但当前绝对值仍只有几十分钟级）。
我的判断
短期（1–2 年）赢家是「验证器丰富的领域」：编程、数据工程、测试生成。通用长时程 Agent 需要单步可靠度达到 99.9%+ 或纠错能力出现质变——两者都没有清晰的路线图。值得注意的是，人类组织解决同样问题靠的是流程与检查点，Agent 系统可能同样需要「制度设计」而非单纯的模型升级。
值得追踪的信号
METR 任务时长曲线的斜率；SWE-bench Verified 分数与真实工程效率的相关性研究；Agent 事故报告（何时出错、错在哪一层）的公开数据集。