RT-2: Vision-Language-Action Models Transfer Web Knowledge to Robotic Control

背景

2022 年之前的机器人操作学习被两种范式夹着：模仿学习（行为克隆）在单任务上可行但零泛化——换个物体就废；强化学习 在仿真里无所不能但 sim-to-real 鸿沟深不见底。Google 2022 年的 RT-1（Robotics Transformer 1）迈出一步：13 万条真机演示 + Transformer，学会了 700+ 任务——但它的「泛化」停留在视觉层面（新背景、新干扰物），语义层面的泛化（「把泰勒·斯威夫特的海报举起来」——需要知道谁是泰勒）无从谈起，因为机器人数据里根本没有这类知识。

与此同时，VLM（PaLI-X、PaLM-E）已经把互联网级的语义知识装进了多模态模型。一个尖锐的问题浮出水面：**机器人领域要不要、能不能「蹭」语言模型的预训练？**当时的主流答案是怀疑——「机器人是控制问题，语言是符号问题，表征根本不同」。

动机

RT-2 的赌注：语义知识可以迁移到低层控制。如果「图像 + 语言 → 动作」的映射与「图像 + 语言 → 文本」的映射共享大部分计算（都要理解场景、解析指令、规划响应），那么在 VLM 上联合微调机器人数据，网络数据学到的世界知识会自动「漏」到控制行为里。验证这个假说需要一个工程前提：把动作变成 VLM 能消化的形式——这就是「动作 token 化」。

方法

动作即语言（VLA 的核心机制）。机器人末端执行器的 7 个连续维度（xyz 位置增量、旋转角、夹爪开度、终止标志）各自离散化为 256 个 bin，7 个数字 → 7 个 token；再按时间展开成 6 步的动作 token 序列。这些 token 直接加入 VLM 的词表——对模型来说，「输出一个抓取动作」与「输出一个词」在形式上完全一样。架构零改动：机器人控制被重述为条件文本生成。

Co-fine-tuning（联合微调）。基座 PaLI-X 55B 与 PaLM-E 12B；训练数据 = 机器人演示（RT-1 的 13 万条真机数据，Kitchen 环境）+ 网络图文数据（WebLI 等原始 VLM 训练集）按比例混合，只微调部分组件——关键效果：网络数据「锚住」语义能力，机器人数据教动作，混合训练防止灾难性遗忘（消融显示纯机器人数据微调会让 VQA 能力崩塌）。

推理时集成。对每个决策点采样多个动作候选、集成投票（RT-1 继承来的可靠性工程）。

CoT 变体（语义→控制的桥）。训练数据里混入「先推理后动作」的样本：任务 → 语言推理（「捡起 X 需要先移开 Y」）→ 动作 token。让规划能力从语言侧渗透到运动侧。

实验设置

• 基座：PaLI-X 55B / PaLM-E 12B，对照 RT-1（35M 参数专用模型）与「PaLI-X 原版 + 动作头」的消融
• 真机评测：Google 办公室厨房环境（机械臂 + 抓取器），与 RT-1 相同的任务族（拿取、移动、开抽屉等）+ 两类新评测：
  • 符号理解：「拿灭霸手套」「把可乐给泰勒（说话者指着的人）」——需要流行文化/人称指代知识
  • 推理：「把 X 移到 Y 附近」的方块推理（数字、动物）——需要推理图结构
• 涌现评测协议：所有「语义任务」从未出现在机器人训练数据中——成功 = 网络知识的 zero-shot 迁移
• 保留度评测：标准 VQA 基准（检查语义能力是否在微调后存活）

结果

• 涌现任务上约 2× 于 RT-1：符号理解类任务成功率 62% vs RT-1 的 32%（数字为量级示意，论文口径相同）；训练数据里没有任何灭霸手套——这些知识全部来自网络图文
• 基础任务（RT-1 训过的）上 RT-2 同样略优——语义知识没有以牺牲已知技能为代价
• VQA 保留：co-fine-tuning 后语义基准下降轻微（几分的量级）；纯机器人数据微调则崩塌
• CoT 变体在多步任务上进一步提升（先推理再动作）
• 55B 比 12B 的涌现能力强——语义泛化随基座规模增长，是「机器人也要大模型」的证据
• 失败模式：长程任务方差大、精细操作（拉链、按钮）依旧不可靠——运动技能的天花板由 13 万条演示决定

有趣的洞见

「知识迁移」与「技能迁移」是两个问题。RT-2 证明了前者：网络语义知识可以 zero-shot 进入控制行为（史上第一次）。但后者依旧受限于演示分布——机器人对「新物体的新抓取姿势」的泛化没有本质改善。这个区分预言了后续路线分工：VLA 解决「知道做什么」，运动技能还得靠数据规模（π0 的 flow-matching 头、ALOHA 的硬件同构演示、以及最终的仿真数据）解决「知道怎么做」。

动作 token 化的统一红利。把动作塞进词表后，机器人控制继承了 LLM 的全部工具链：数据混合配方、训练稳定性技术、scaling 直觉、甚至 CoT。这是「表征即接口」的力量——领域问题一旦被重述为已有范式的实例，整个生态免费入场。后续 π0（2024）用 flow-matching 动作头修正了「离散化损失精度」的缺陷，但「在 VLM 底座上训练动作」的骨架完全是 RT-2 的。

机器人数据的「单位经济学」。13 万条演示 vs LLM 的万亿 token——差 7 个数量级。RT-2 的成功恰恰凸显了这个数字的刺眼：语义泛化可以借，但运动数据借不到（互联网上没有物理交互的记录）。这就是 2023-2025 年机器人领域「数据饥渴」叙事的起点：遥操作工厂、仿真合成、视频学习——所有路线都在回答「去哪找机器人界的万亿 token」。

批判性评价

最弱的一环：不可复现 + 场景狭窄。真机评测依赖谷歌独有平台与闭源模型，社区无法验证（OpenVLA 2024 年才补上开源复现）；评测集中在桌面抓取，「语义涌现」的样本量与任务多样性都偏薄（每类几个任务），统计功效有限；推理频率低（VLM 前向 ~1-3Hz，实时控制需要蒸馏到小模型）；以及前面说的运动泛化天花板——论文标题里 transfer 的是 web knowledge，不是 motor skill。

依然重要的理由：它是「大模型范式迁移到机器人」的宣言书，定义了 VLA（vision-language-action）这个此后统治机器人学习的研究类别。答案激进而简单：蹭语言模型的预训练，只补动作的微调——这个框架在 π0、OpenVLA、Gemini Robotics 等 2024-2025 年的系统里被反复确认。