Toolformer: Language Models Can Teach Themselves to Use Tools
★★★★★Schick et al. (Meta AI) · NeurIPS 2023 2023
让 6.7B 模型自学「何时、如何插入 API 调用」：用自举数据过滤把工具使用内化到语言建模目标里。
工具使用与函数调用
Tool Use & Function Calling 活跃前沿让模型调 API、搜网页、执行代码：从 Toolformer 到 MCP 的工具生态标准化。
代表机构： AnthropicOpenAI开源生态（LangChain 等）
概述
工具使用把模型从「闭卷考试」变成「开卷实操」。技术演化分三步：ReAct（2022）确立了「推理-行动-观察」循环的提示范式；Toolformer（2023）证明模型可以在预训练中自学「何时插入哪个 API 调用」；2023 年 6 月 OpenAI function calling 把结构化工具调用做进模型 API，从此 JSON 出参的可靠性成为各家模型的硬指标。
2024 年 11 月 Anthropic 发布 MCP（Model Context Protocol），意图成为「AI 的 USB-C」：统一模型与外部工具/数据源的连接协议。半年内 OpenAI、Google 相继兼容，工具生态从「每家一套插件格式」走向事实标准——这可能是 Agent 领域近两年最重要的基础设施事件。
看点
工具调用的瓶颈已从「格式对不对」转向「选择对不对」：给模型 50 个工具，选哪个、何时用、参数从哪取，是规划问题而非解析问题。工具检索（tool RAG）悄然成为新的子问题。
经典工作
- Toolformer（2023）
- ReAct（2022）
- MCP 协议（2024，Anthropic）
论文精读
全部论文 →演进脉络
完整时间线 →-
Codex 与 GitHub Copilot 2021 年 8 月 29 日
OpenAI 的 Codex（GPT-3 的代码特化版）驱动 GitHub Copilot 上线，编程助手成为 LLM 第一个大规模商业落地，「代码即验证器」也埋下了后来推理 RL 的伏笔。
-
AutoGPT 热潮与破灭 2023 年 3 月 30 日
开源项目 AutoGPT 让 GPT-4 自主设定子目标、循环调用工具，GitHub 星标数月破十万——但自主智能体在真实任务中的可靠性迅速暴露，热潮退去，为后来务实的 Agent 工程留下教训。