Toolformer: Language Models Can Teach Themselves to Use Tools
★★★★★Schick et al. (Meta AI) · NeurIPS 2023 2023
让 6.7B 模型自学「何时、如何插入 API 调用」：用自举数据过滤把工具使用内化到语言建模目标里。
智能体
Agents 活跃前沿从聊天框走向工作流：harness 脚手架、工具与技能包、规划与记忆、多智能体协作——把 LLM 组装成可靠自动机的系统工程。
代表机构： OpenAIAnthropicGoogle DeepMind
子领域
Agent Harness 与脚手架 活跃前沿
模型外围的工程骨架：工具循环、上下文工程、权限与沙箱——「产品是 harness，模型是可替换的引擎」。
工具使用与函数调用 活跃前沿
让模型调 API、搜网页、执行代码：从 Toolformer 到 MCP 的工具生态标准化。
Agent Skills 新兴方向
SKILL.md 开放标准：把「怎么做一类任务」打包成渐进披露的技能文件夹——知识复用从 prompt 复制走向「agent 时代的软件包」。
记忆与规划 活跃前沿
Agent 的时间维度：上下文之外的持久记忆、任务分解与自我反思的工程学。
多智能体协作 新兴方向
让多个模型分工对话：角色扮演式协作框架的兴起，与「真的需要多智能体吗」的冷水。
概述
解决什么问题
ChatGPT 是一个「会说的话痨同事」，Agent 要造的是「会做事的实习生」：接目标、拆任务、调工具、看结果、纠偏差、交作业。这个领域研究能力到行动的最后一公里——也是当前工程界投入最猛、翻车最多的方向。
当前图景
技术栈已收敛出清晰分层：底层是函数调用与 MCP 一类的工具协议（把 API 生态标准化地暴露给模型），以及 2025 年兴起的 harness 意识与技能包（SKILL.md 开放标准）——模型是可替换的引擎，工程骨架与任务知识成为独立的生产资料；中层是规划与记忆（ReAct 式思考-行动循环、检索式外部记忆、子代理分解）；上层是多智能体编排（CrewAI/AutoGen 式框架）与 Computer Use（直接操作浏览器与桌面）。2023 年 AutoGPT 一波「自主智能体」泡沫破裂后，行业转向务实路线：窄域、有人类断点、以评测兜底——Claude Code、Devin、Cursor 一类编程智能体成为第一个真正跑通的商业场景，因为代码天然自带可验证奖励。
开放问题
- 长时程可靠性：错误随步骤复合，50 步任务 1% 的单步错误率意味着 40% 的整体失败率——如何破？
- Agent 的记忆该长什么样：文件系统、向量库，还是模型的上下文本身？
- 多智能体是真分工，还是把 prompt 工程包装成架构？
经典工作
- ReAct（2022，推理与行动交织）
- SWE-agent（2024，Agent-Computer Interface）
- Agent Skills 开放标准（2025，SKILL.md）
论文精读
全部论文 →演进脉络
完整时间线 →-
DQN 玩转 Atari 2013 年 12 月 1 日
DeepMind 的 DQN 用深度网络近似 Q 函数，仅凭像素输入在多款 Atari 游戏达到人类水平，「深度强化学习」由此成为独立领域。
-
AlphaGo 战胜李世石 2016 年 3 月 15 日
DeepMind 的 AlphaGo 以 4:1 击败围棋世界冠军李世石，策略网络 + 价值网络 + 蒙特卡洛树搜索的混合架构证明：在超大搜索空间中，「学习引导搜索」可以超越人类千年棋理。
-
AlphaZero：从零开始的通用棋手 2017 年 3 月 1 日
AlphaZero 抛弃人类棋谱，仅凭自博弈在围棋、国际象棋、将棋三个领域登顶，「纯强化学习 + 搜索」的通用性首次得到强验证。
-
Codex 与 GitHub Copilot 2021 年 8 月 29 日
OpenAI 的 Codex（GPT-3 的代码特化版）驱动 GitHub Copilot 上线，编程助手成为 LLM 第一个大规模商业落地，「代码即验证器」也埋下了后来推理 RL 的伏笔。
-
AutoGPT 热潮与破灭 2023 年 3 月 30 日
开源项目 AutoGPT 让 GPT-4 自主设定子目标、循环调用工具，GitHub 星标数月破十万——但自主智能体在真实任务中的可靠性迅速暴露，热潮退去，为后来务实的 Agent 工程留下教训。
-
Agent Skills 成为开放标准 2025 年 12 月 18 日
Anthropic 在 10 月发布 Agent Skills 后，将 SKILL.md 规范开源为跨平台开放标准：一个文件夹打包「说明书 + 脚本 + 资源」，模型按需渐进加载——知识复用从 prompt 走向「agent 时代的软件包」。