6.5 具身智能与视觉—语言—动作模型

6.4的模型能看图、能听声、能说话。但它输出的一切仍然是符号——文字、标签、描述。一个机器人不能靠文字移动手臂。

这一节处理「语义理解 → 物理动作」之间那道真实的鸿沟。核心问题有三个：为什么把语言模型的输出直接当动作不行（6.5.1）？要怎么做才行——四条代表路线与它们各自的技术选择（6.5.2–6.5.4）？数据从哪来（6.5.5）？最后是三个比纯软件任务苛刻得多的约束：安全、实时性与评测（6.5.6）。本节与第 5 讲的模仿学习、行为克隆、扩散策略直接接续——本节的模型本质上是「用大模型骨干做的模仿学习」。

6.5.1 从语言到动作的鸿沟

定义 6.5.1 · 视觉—语言—动作模型（vision-language-action, VLA）

VLA 模型以视觉观测与语言指令为输入，直接输出低层动作（关节角、末端位姿，常是一段动作序列 $a_{t:t+H}$ ）：

$\bigl(\underbrace{o_t}_{\text{图像/多视角}},\ \underbrace{\ell}_{\text{语言指令}}\bigr)\ \longrightarrow\ \underbrace{a_{t:t+H}}_{\text{动作块}},\qquad H\ \text{为动作块长度（action chunk length）}.$

它站在大模型的语义骨干之上，因此能泛化到新的指令措辞（「把红杯子放到左边」vs「把红色那个挪到左边去」）；同时它必须在闭环控制里实时、稳定地产生动作。

为什么不能让 LLM 直接输出动作

四个层次的错配，每个都致命：

输出空间的形状不对。LLM 的输出是词表上的离散分布（ $|\mathcal V|\sim10^5$ 维）；动作是连续、有量纲、多自由度的向量（例如 7 自由度机械臂 + 夹爪 = 8 维，再乘上时间步）。需要一个离散化或生成模型把它接起来。
速度差几个数量级。控制回路要求 10–100 Hz（每步 10–100 ms）；LLM 生成一个 token 的延迟就在这个量级上，而一次决策需要输出一整段动作。必须一次输出一段（action chunk）而不是一个 token 一个动作。
时间尺度不同。语言任务里「下一步」是下一个词；控制里「下一步」是几毫米的位移，几百步才构成一个「把杯子拿起来」的动作。一个语义步骤 = 数百个控制步，这也是动作分块（chunking）的直接动因。
错误的代价不同。语言模型说错一句话可以撤回；机械臂多走 5 cm 可能撞碎东西或伤人。物理动作不可撤销，这决定了安全约束必须进入系统设计而不是事后补丁。

例 6.5.1 · 频率与延迟的硬约束核算

(a) 某机械臂控制回路要求 50 Hz（每 20 ms 一个控制指令），任务平均需要 300 个控制步完成（约 6 秒）。若每次模型前向需 150 ms，且每次只输出一个动作，控制频率能到多少？还剩多少余量？

(b) 若改为动作分块：每次前向输出 $H=16$ 步的动作，前向仍需 150 ms。等效控制频率是多少？延时（从观测到第一个动作实际执行）大约多长？

(c) 从这两个数字出发，说明为什么 VLA 系统普遍采用「动作分块 + 闭环重规划」而不是「单步闭环」。

解

(a) 单步方案下，两次决策之间至少要等 150 ms，等效控制频率 $=1/0.15\approx6.7$ Hz，远低于 50 Hz 要求。500 步中每步都超时，控制回路根本跟不上。余量为负——这个方案直接不成立。

(b) 分块方案：一次 150 ms 产出 16 个动作，按 50 Hz 摊开需要 $16\times20=320$ ms。因此决策频率 $=1/0.32\approx3.1$ Hz，但实际执行仍是 50 Hz（16 个动作在 320 ms 内依次下发）。等效控制频率恢复到 50 Hz（执行侧由低层控制器插值/执行）。

延迟：平均要多等半个块的时间才能拿到新动作，取块内平均约 $320/2=160$ ms（若每次都等完整前向再执行，则接近 150–320 ms 区间）。这就是「模型推理延迟」与「控制周期」解耦的方式——用更长的时间常数换实时性。

(c) 因为：① 单步闭环的决策频率被前向延迟锁死（≈6.7 Hz < 50 Hz），物理上做不到；② 分块把模型前向（低频、慢）与控制执行（高频、快）分成两个时间尺度；③ 纯开环分块会累积误差（第 5 讲的复合误差），所以必须在执行中途重新观测、重新规划（先执行块的前一部分，用新观测生成下一个块）——这就是「动作分块 + 闭环重规划」的由来。它同时解决了「太慢」与「会漂」两个问题，代价是引入了块与块之间的接缝（不一致、抖动），这成为后续模型的专门改进方向。 $\blacksquare$

∎

6.5.2 RT-1 与 RT-2：动作 token 化

两条早期代表路线

维度	RT-1（2022）	RT-2（2023）
骨干	从零训练的 Transformer（EfficientNet 式视觉编码 + 序列模型）	预训练的视觉—语言模型（VLM）直接改造
动作表示	离散化：每个动作维度分箱为若干离散 token，按维度依次预测	同样把动作写成文本 token，与语言 token 进同一词表
关键主张	大规模真实机器人数据 + 高频控制 Transformer 可行	互联网规模的视觉—语言预训练能迁移到机器人，带来显著的泛化（新物体、新指令措辞、简单推理式指令）
训练目标	动作 token 的分类（交叉熵）	与语言模型相同：下一个 token 预测（动作是 token 序列的一部分）
主要限制	泛化受训练数据分布限制	仍受机器人数据量与形态限制；动作离散化带来精度上限；推理频率受 VLM 大小制约

为什么「把动作变成 token」是一个关键的技术动作

它把机器人这样一个连续控制问题塞进了语言模型的原生接口里。这一步的价值有三层：

零样本迁移。既然动作与文字在同一个 token 空间、同一个损失下训练，VLM 已有的语义知识就能直接参与动作预测——模型知道「红色的杯子」是什么，也知道「放进抽屉」意味着什么。这带来的是对未见指令措辞与未见物体的泛化，而不是简单的记忆复用。
一个模型多种能力。不需要为「回答问题」和「抓东西」分别设计输出头，只要在序列里拼不同的 token。
训练工程复用。整套语言模型的训练基础设施（数据格式、并行、检查点）不需要重写。

代价也必须写清：离散化是有损的。把连续动作分到有限个箱子里，等于给动作精度设了一个不可逾越的上限；分箱越粗，系统越只能做粗动作。同时「按维度依次预测」会引入维度之间的顺序依赖（假设第 2 维的分布只依赖第 1 维已定稿的值），这在结构上不自然——这两点正是后面两条路线要解决的问题。

动作表示的三笔工程账（不管选哪条路线都要算）

账目	具体问题	处理办法与判据
量纲与归一化	7 个关节里，平移是米、旋转是弧度或四元数、夹爪是开度——直接拼成一个向量会让大数量级维度主导损失	逐维度归一化到 $[-1,1]$ 或按统计量标准化；记录并在部署时反变换（漏掉反变换是「训练完美、真机动不了」的第一大原因）
旋转表示	欧拉角有万向锁与周期性（ $\pm\pi$ 处不连续），四元数有双覆盖（ $q$ 与 $-q$ 同一姿态）	明确选一种；若用欧拉角要处理环绕（把角度差归一化到 $[-\pi,\pi]$ ）；若用四元数要处理符号翻转
精度 vs 速度	分箱数决定精度上限；箱越细词表越大、推理越慢	先由任务的最细动作需求反推精度（例如装配任务可能需要亚毫米），再选分箱或改用连续生成；不要先选方法再补理由

为什么值得单列一表：这三笔账在论文里常被压进附录的一行配置。实践中它们却是复现失败最集中的地方——同一份代码、同一份数据，换了机械臂之后因为归一化统计量不同而整体失效。任何 VLA 的复现报告都必须给出这三项的具体配置。

6.5.3 OpenVLA：开源范式与可复现性

OpenVLA 的开放范式（2024）

OpenVLA 的意义不在于提出新算法，而在于把 VLA 的全栈公开：开放的模型权重、开放的训练数据混合配方、可复现的微调流程。其技术要点可归纳为四层：

层	做法	作用
视觉骨干	双视觉编码器（融合来自不同预训练谱系的表征）	兼顾语义与空间细节
语言骨干	开源 VLM（Llama 系 + 视觉适配）	提供指令理解与语义先验
动作头	离散 token 化：把动作维度分箱，扩展词表加入动作 token	复用自回归目标；与 6.5.2 同一思路
训练配方	大规模开放机器人数据混合 + 少量目标机器人数据微调（含 LoRA 式微调）	让社区能在自己的机器人上适配

它带来的可复现性价值：此前 VLA 的关键细节（数据配比、动作归一化、分箱边界、评估协议）多散落在论文附录或未公开实现中；OpenVLA 把它们变成可运行代码，使「在自有机器人上复现并对比」第一次成为低成本操作。

为什么「开放范式」本身是这一节的必要内容

机器人学习领域长期有不可比的结构性问题：硬件不同、数据不同、评估任务不同、指标定义不同。在这种环境下，「某模型更强」的论断极难验证——这与 6.7 的评测问题同源，但更严重，因为硬件不可复制。

开放范式能改善的部分是明确的：基线可跑、数据可查、超参可见。它不能解决的部分也要说清：即使代码相同，换成不同机械臂与不同相机标定后，结果仍不可直接比较。因此做 VLA 研究时，报告应包含：硬件型号、相机内参/外参、控制频率、动作表示（维度、单位、归一化方式）、动作块长度、评估任务的成功判据。缺任何一项，结果都不可复现。

例 6.5.2 · 分箱精度与词表开销的定量权衡

某 7 自由度机械臂 + 1 维夹爪（共 $d_a=8$ 维动作）。平移维度的实际取值范围是 $[-0.05,\ 0.05]$ 米（单步位移），要求最细可分辨 0.2 mm。旋转维度取值范围 $[-0.1,0.1]$ 弧度，要求最细 $0.001$ 弧度。夹爪取 $[0,1]$ ，要求 $0.02$ 。

(a) 各维度需要多少个分箱？ (b) 若动作块长度 $H=16$ ，一次前向要输出多少个动作 token？ (c) 把这套分箱加进一个 $V_0=32{,}000$ 的词表，输出层参数会增加多少（设隐藏维 $d=4096$ ）？ (d) 如果改用连续生成（流匹配），这些成本如何变化？

解

(a) 分箱数 $=\lceil \text{范围}/\text{精度}\rceil$ ：

维度	范围	精度	分箱数
平移（3 维）	$0.10$ m	$0.0002$ m	$0.10/0.0002=500$ （每维）
旋转（3 维）	$0.20$ rad	$0.001$ rad	$200$ （每维）
夹爪（1 维）	$1.0$	$0.02$	$50$

合计新增 token 数 $=3\times500+3\times200+50=1500+600+50=2150$ 。

(b) 每个动作维度占 1 个 token、共 $d_a\times H=8\times16=128$ 个动作 token ——注意这一项与分箱数无关：分箱数决定词表大小，块长度与维度数决定序列长度。

(c) 输出层参数量 $\approx V\times d$ （忽略偏置与权重共享）。词表从 $32{,}000$ 增到 $32{,}000+2150=34{,}150$ ，增量 $=2150\times4096=8{,}806{,}400\approx8.81$ M。对一个 7B 模型是 0.13% 量级——词表开销小。

(d) 连续生成路线的变化：① 不需要分箱，因此没有 2,150 个新 token，词表不扩张，也就没有「精度上限」这一项；② 但动作头要换成生成模型（扩散或流匹配），每次决策需要多步采样（例如 10 步流匹配 ODE 积分），计算量从「一次前向出 128 个 token」变成「10 次前向出 128 个连续值」；③ 若用 4bit 量化与蒸馏到少步，可以把 10 步压到 2–4 步。

结论：两种路线的成本结构完全不同——离散化的瓶颈是「精度上限 + 序列长度」，连续生成的瓶颈是「采样步数」。这也解释了为什么两类路线在工程上会并存：粗动作（导航、大范围移动）用离散更划算，精细操作（插拔、装配）用连续更合适（与 6.5.4 的选型表一致）。 $\blacksquare$

∎

6.5.4 π0 与 Diffusion Policy：连续动作生成的两条路

离散 token 化的精度上限催生了另一条路：把动作当作连续变量生成。

定义 6.5.2 · 流匹配 / 整流流动作生成（π0 式）与扩散策略（Diffusion Policy）

π0 式（流匹配）：把动作块 $\boldsymbol a\in\mathbb R^{H\times d_a}$ 当作一个连续目标，学习一个速度场 $v_\theta(\boldsymbol a_t,\boldsymbol o_t,\ell,t)$ ，把噪声沿着（近似）直线搬到动作：

$\boldsymbol a_t=(1-t)\boldsymbol\varepsilon+t\,\boldsymbol a,\qquad \mathcal L=\mathbb E_{t,\boldsymbol\varepsilon}\bigl\lVert v_\theta(\boldsymbol a_t,\boldsymbol o_t,\ell,t)-(\boldsymbol a-\boldsymbol\varepsilon)\bigr\rVert^2,$

采样时解 ODE（从 $t=0$ 的噪声积分到 $t=1$ 的动作）。与第 4 讲的整流流 / 流匹配是同一族方法。

Diffusion Policy：用条件扩散直接建模动作分布，从高斯噪声出发、以观测与指令为条件、经若干步去噪得到动作块：

$\boldsymbol a^{(K)}\ \to\ \cdots\ \to\ \boldsymbol a^{(0)},\qquad \boldsymbol a^{(k-1)}=\text{去噪网络}(\boldsymbol a^{(k)},\,k,\,\boldsymbol o_t,\ell).$

共同点：都在连续空间生成动作块，因此不受分箱精度限制，并且天然能表达多模态动作分布。

为什么「动作多模态」是这类方法存在的核心理由

考虑「绕过障碍」这个任务：从左绕和从右绕都是正确的。如果策略是用高斯分布建模动作（均值 + 方差），那么它给出的最优解是两者的平均——直直撞上障碍。这不是训练不足，而是分布族选错了：单峰分布无法表示双峰数据，均值落在两峰之间（与第 4 讲里「VAE 的高斯解码器导致模糊」是同一个数学现象）。

扩散与流匹配的解法是用一个多步生成过程代替一个参数化分布：它能表示任意复杂的多峰结构，采样出的每条路径都落在某个峰上（要么左，要么右），而不是落在中间。

代价同样真实：

代价	具体表现	缓解方向
采样步数	扩散要几十步去噪，实时控制吃不消	一致性模型、蒸馏到少步、流匹配的直线化（少步即可）
计算开销	每次决策多次网络前向	动作分块（一次生成 $H$ 步）、更小的动作头、缓存观测编码
训练复杂度	噪声调度、时间步嵌入、目标归一化都很敏感	固定配方 + 大规模数据；共享第 4 讲的工程经验
评估困难	生成式策略的失败模式比回归策略更隐蔽	多随机种子重复、报告方差而非单次成功率

四条路线的对照（选型依据）

路线	动作表示	优势	主要限制	典型场景
RT-1 式	离散分箱（每维若干箱）	简单、推理快、可高频	精度上限、泛化受数据限制	固定任务族的规模化
RT-2 / OpenVLA 式	离散 token（进 VLM 词表）	语义迁移强、指令泛化好	精度上限、受 VLM 推理速度制约	需要语言理解与通用物体操作
Diffusion Policy	连续（扩散去噪）	多峰动作分布、精细操作强	采样步数多、实时性差	精细操作（插拔、装配）
π0 式流匹配	连续（速度场）	多峰 + 少步采样、块级生成	工程较新、配方敏感	长时程、多任务、高频控制

6.5.5 数据从哪来：三条来源与各自的天花板

具身智能的瓶颈几乎不在模型，而在数据。这一小节把三条来源的天花板说清。

具身数据的三种来源

来源	做法	优势	天花板（关键约束）
真实遥操作	人用主从臂、手柄、动捕或 VR 设备示范，录下「观测 → 动作」轨迹	分布最真实、可闭环验证	昂贵（人力 + 硬件时间）；分布窄（受平台与场景限制）；不同硬件不可直接混用（动作空间与动力学不同）
仿真	在物理引擎里生成大量轨迹（域随机化、自动课程）	便宜、可无限扩增、可自动标注成功与否	sim-to-real 鸿沟：仿真中的接触、摩擦、光照、传感器噪声与真实差距；模仿学习对动力学失配极其敏感
跨形态 / 被动数据	互联网视频、人类第一人称操作视频、其他机器人平台的数据	规模大、语义丰富	无动作标签（只有像素），需要额外的动作估计或表征学习；动作空间异构（人的手 ≠ 机械臂的夹爪）

实践中的组合方式（经验共识）：以真实遥操作为核心（保证动作标签质量）+ 仿真做规模与长尾（配域随机化）+ 跨形态数据做语义与表征预训练。三者的权重与顺序依任务而变，没有通用配方。

为什么「跨形态数据」既最有希望又最难用

最有希望，因为它绕过了遥操作的规模瓶颈：网络上有海量「人在做事」的视频。最难用，因为它缺了监督信号最核心的那一部分——动作标签。你看到一个人在拧螺丝，但你不知道他的手指施加了多少牛顿的力、腕关节转了多少度。

由此产生两类应对路线：① 从视频估计动作（用姿态估计、手部重建、光流等方法反推伪动作标签，再用它训练），代价是标签有系统性偏差；② 只学表征（用被动数据预训练视觉/语义表示，动作头仍靠真实遥操作训练），代价是表征里的动力学知识无法直接用于控制。

这里有一个必须警惕的乐观：视频生成模型能生成「看起来合理」的操作视频，不等于它掌握了可执行的动作序列。生成的是像素，控制需要的是因果的动作—后果关系；两者之间的距离正是本节要处理的核心问题（并会在 6.6.5 的「世界模型争议」里以另一种形式出现）。

6.5.6 安全、实时性与评测

四个与纯软件任务本质不同的约束

不可撤销。软件回滚是常态；物理动作造成的损坏不可回滚。因此系统需要动作级的安全层（力/速度限制、工作空间约束、碰撞检测）独立于学习策略之外——不要指望策略自己学会「永远不撞」。
失败模式是长尾且昂贵的。真实世界的长尾覆盖极难，而每一次失败都可能损坏硬件或造成人身风险。所以成功率报告必须带置信区间与失败类型分类，不能只报一个平均值。
长时程任务的误差累积。闭环能抑制单步误差，但语义层的错误（认错目标、误解指令）不会被低层控制自动修正——它会让系统自信地做错事（这与 6.3.6 里「长链错误更详尽」的隐患同构）。
评测任务不可标准化（目前）。语言基准可以共享题库，机器人任务受硬件、场地、物体集合制约。因此「SOTA」在这一领域比语言领域更脆弱——同一个数字往往只在同一篇论文的实验台上成立。

关于具身智能与 VLA 的五条常见误解

「VLA = 把 LLM 接上机械臂」：中间必须解决动作表示（离散化或生成模型）、时间尺度（动作分块）、实时性（频率解耦）与安全约束，每一项都是工程难点，不是接口问题。
「示教数据可以无限扩增」：遥操作需要人在特定硬件上真做，成本随场景与时长的线性增长，无法像抓网页那样扩增。
「仿真够真就不用真机数据」：模仿学习对动力学失配很敏感；域随机化能缓解但不能消除。仿真应作为放大器而非替代品。
「成功率 90% 说明系统可用」：要先问：在什么任务、多少物体、多少场景、多少种初始位姿下测的？失败样本是否包含「灾难性失败」（撞坏东西）还是只有「没做到」？只看一个比例会把风险结构藏起来。
「闭环控制能纠正一切」：闭环能纠正低层扰动（抓偏一点可以靠反馈修），不能纠正语义错误（目标搞错、指令理解错）。两类错误需要分开治理。

具身系统的可复现清单（报告时必须给全）

任何 VLA / 机器人学习结果的对比，都只有在下面八项同时给出时才成立。缺任何一项，「A 比 B 强」的结论都不成立。

#	条目	为什么必须给
1	硬件型号与自由度	动作空间定义随硬件改变，成功率不可跨平台迁移
2	相机配置（数量、位置、内参、外参、分辨率）	视觉输入决定了一半的「观测」，位置移动会改变任务难度
3	控制频率与低层控制器	50 Hz 与 10 Hz 的策略在同样任务上成功率差别巨大
4	动作表示（维度、单位、归一化方式、旋转表示）	见上一张表：这是复现失败最集中处
5	动作块长度 $H$ 与重规划策略	直接决定延迟、接缝与闭环响应性（例 6.5.1）
6	数据量与来源构成（遥操作 / 仿真 / 跨形态各占多少）	「用更多数据」是最常见的混淆变量
7	评估任务集合与成功判据	「成功」是否包含「完成但超时」？判据松紧能差出几十个百分点
8	重复次数与方差	机器人实验的随机性远大于语言评测（初始位姿、光照、物体摆放）

推论：读一篇机器人论文时，先找这八项；找不到就先把它当作不可比的经验报告，而不是可依赖的结论。这不是苛求——是这一领域与语言领域最实质的方法论差异。

即时自测 · 6.5

Q1 列出「不能让 LLM 直接输出动作」的三条理由，并各给一个量级数字。

Q2 什么是动作分块（action chunking）？它解决了什么问题，又引入什么新问题？

Q3 为什么单峰（高斯）策略在「绕障碍」任务上会失败？扩散 / 流匹配如何解决它？

Q4 RT-2 相对 RT-1 最关键的改变是什么？它带来了什么具体的泛化能力？

Q5 你只能用 8 小时的遥操作数据与无限量的仿真数据，设计一个数据方案并说明失败判据。

参考要点

Q1 ① 输出空间形状不对：语言输出在 $10^5$ 维词表上，动作是连续有量纲的多自由度向量（如 8 维 × 时间步）；② 速度不匹配：控制需要 10–100 Hz（10–100 ms 周期），而模型单次前向就在 100 ms 量级且一次只出一个 token；③ 时间尺度不匹配：一个语义步骤对应数百个控制步（例 6.5.1 里 300 步 ≈ 6 秒）；④ 此外还有「错误不可撤销」。任答三条即可。

Q2 一次前向输出一段动作（ $H$ 步），而不是单个动作；执行时把这段按控制频率依次下发，并在执行中途重新观测与重新规划（闭环重规划）。解决的问题：把「慢的模型前向」与「快的控制执行」解耦，使等效控制频率不被前向延迟锁死（例 6.5.1：6.7 Hz → 50 Hz）。引入的新问题：块与块之间的接缝（不一致、抖动、边界处动作不连续），以及重规划频率与响应性的权衡。

Q3 「从左绕」与「从右绕」都是正确解，动作分布是双峰的。高斯策略用均值代表分布，均值落在两峰之间——正对障碍。分布族选错了，不是训练不足。 扩散 / 流匹配通过一个多步生成过程（去噪或速度场积分）代替单一参数化分布，因此能表示任意多峰结构，采样出的轨迹落在某个峰上。

Q4 最关键改变：把动作当成文本 token，直接在预训练 VLM 上做下一个 token 预测（而不是从零训一个专用 Transformer）。带来的泛化：对未见过的指令措辞（同义改写）、未见过的物体、以及需要一点常识推理的指令（如「把可乐罐放到泰勒·斯威夫特旁边」这类需要利用预训练知识的指示）表现明显更好。限制：动作离散化带来精度上限，推理频率受 VLM 规模制约。

Q5 方案（无唯一答案，标准是「分工合理 + 判据明确」）：① 先在仿真上做大规模预训练 / 表征学习，配域随机化（纹理、光照、物理参数）；② 用 8 小时真实遥操作数据做目标硬件上的微调（LoRA 式），保证动作标签质量；③ 保留少量真实数据做验证集，绝不进训练。失败判据：① 仿真预训练后在真实验证集上的成功率不高于随机 → sim-to-real 失败，检查动力学失配与域随机化范围；② 微调后在训练场景内成功但换场景/换物体后显著下降 → 过拟合，需扩充场景多样性；③ 仿真中成功率上升而真机下降 → 典型的域失配信号，需要更激进的随机化或降低仿真权重。必须报告每个条件的多次重复与方差，单次成功率不作数（6.7.3）。

Keyboard shortcuts