WAVE-0: Bridging VLA Policies and WAMs with Lightweight Latent Future Prediction

一句话总结

WAVE-0 将 VLA 与 WAM 结合，通过机器人示范中的真实动作训练轻量级潜在世界模型。第一阶段，动作编码器将真实动作序列编码为动作潜向量，世界模型结合当前视觉表征、机器人状态和动作潜向量，预测动作执行后的未来视觉表征，并通过反事实排序损失增强模型对动作后果的敏感性。第二阶段，在 VLM 中加入可学习的潜在动作查询，使其生成与动作编码器表征对齐的潜在动作计划；该计划输入冻结的世界模型后得到预测的未来视觉表征，再经重采样器转换为未来条件词元，传递给动作专家。最终，动作专家结合原始 VLM 上下文和预测的未来信息生成动作。

摘要

两个问题：

1. VLA 策略在通用机器人操作任务中表现出色，但它们在生成动作时，并未显式建模这些动作对环境造成的后果。
2. WAMs 引入了未来预测，但其中大多数依赖计算成本高昂的视频生成；采用潜在空间建模的替代方法，要么仅将预测的未来作为辅助监督目标，要么通过成本高昂的大规模视频预训练，从次优的视觉状态转移中推断潜在动作

WAVE-0（World-model-Augmented VLA Execution，世界模型增强的 VLA 执行），这是一个通过轻量级潜在世界模型连接 VLA 与 WAM 的框架。将预训练 VLA 的语义理解能力与显式未来预测相结合，使预期的动作后果能够直接指导动作生成。

以预训练 VLA 为基础，其世界模型拥有 2.57 亿个参数，能够将 VLM 生成的潜在动作计划转换为预测的未来表征，并将这些表征作为动作专家模块的条件输入，从而统一潜在规划、未来预测与动作生成。

世界模型直接使用机器人真实动作进行训练，并采用反事实排序目标，既不需要像素重建，也不需要大规模视频预训练。

反事实排序目标，就是要求世界模型：在相同的当前状态下，用实际执行的动作预测出的未来，应当比用不匹配的动作预测出的未来，更接近真实发生的未来。

项目见

引言

一个问题：

当特定领域的示范数据已经提供了真实的可执行动作时，这种大规模、间接的预训练，是否真的比直接使用这些动作训练世界模型更有效？

通过将未来预测直接建立在机器人轨迹中的真实动作之上，回答这一问题 核心认识是：示范数据已经将每段动作序列与其产生的观测配对，因而能够直接监督动作如何改变环境。

使用这种监督训练的世界模型，所预测的未来与实际执行的动作相对应，而不是与状态转移发生后才推断出的潜在动作相对应，并且不需要大规模预训练。

预训练 VLA 已经提供了丰富的语义理解能力和视觉表征空间，因此世界模型只需预测在给定动作计划下，这一表征将如何演化。这样既能保持模型轻量化，也能避免重建未来图像。

WAVE-0 采用两阶段训练策略。 第一阶段，使用带有动作标注的轨迹训练潜在世界模型，使其根据当前观测和真实动作预测未来视觉表征。除未来预测目标和潜在变化量目标外，还引入反事实排序目标，促使模型区分不同动作计划所产生的后果。 第二阶段，将冻结的世界模型集成到预训练的 π₀.₅ 中，并使 VLM 生成的潜在计划与已经学得的动作表征空间对齐。世界模型根据这些计划预测未来表征，随后由一个轻量级重采样器将其压缩为供动作专家模块使用的未来条件词元。规划分支仅通过这些预测来指导动作生成，同时动作专家模块仍可访问原始的 VLM 上下文。这一设计使预期的动作后果能够在训练和推理期间都显式指导动作生成。

贡献主要有以下三点：

1. 我们提出 WAVE-0，通过一个拥有 2.57 亿参数的轻量级潜在世界模型，将 VLA 的语义理解与 WAM 的未来预测连接起来，使预期的动作后果能够在训练和推理期间指导动作生成。
2. 我们设计了一种两阶段训练策略：首先，利用真实机器人动作和反事实排序，学习依赖于动作的潜在动力学；随后，通过一个显式的预测瓶颈，将冻结的世界模型集成到预训练 VLA 中。
3. 在 RoboTwin 2.0、LIBERO 及其泛化基准上的评估表明，WAVE-0 具有良好的有效性，并能在视觉和语言分布偏移下保持泛化能力。真实世界实验进一步表明，在三项操作任务中，该方法相较于 π₀.₅ 均取得了显著提升。

图1 代表性机器人策略范式比较。(1) 标准VLA将视觉-语言上下文直接映射为动作。(2) 基于视频的WAM通过昂贵的视频生成来建模动力学。(3) 世界模型在训练期间通过预测所生成动作的后果来提供辅助监督，而推理路径保持不变。(4) WAVE-0使用轻量级潜在世界模型，将VLM生成的潜在动作计划转化为预测的未来表征，并在训练和推理期间都以此作为动作专家的条件输入。

方法

问题定义

考虑以当前观测和任务指令为条件的机器人操作问题。在时刻 $t$，机器人接收观测 $o_t=(I_t,s_t)$，其中，$I_t=\{I_t^{(c)}\}_{c=1}^{C}$ 包含来自 $C$ 个相机的图像，$s_t$ 为本体感知状态。给定指令 $\ell$，机器人生成一个动作时域长度为 $H$ 的连续动作块：

$$A_t=(a_t,\ldots,a_{t+H-1}),\qquad a_t\in\mathbb{R}^{d_a}. \tag{1}$$

通过示范数据学习一个策略，使其以当前观测和指令为条件生成动作：

$$A_t\sim\pi_\theta(\cdot\mid o_t,\ell). \tag{2}$$

WAVE-0 将这一过程分解为潜在动作规划、未来世界状态预测，以及以未来为条件的动作生成。 令 $S_t=\mathcal{E}(I_t)$ 表示固定视觉嵌入空间中的世界状态表征。VLM 规划器 $f_\eta$ 生成潜在动作计划，世界模型 $g_\phi$ 预测该计划的后果，动作专家模块 $p_\psi$ 则结合原始上下文与预测的未来生成动作：

$$\begin{aligned} \widehat{Z}_a &= f_\eta(o_t,\ell),\\ \widehat{S}_{t+h} &= g_\phi(S_t,s_t,\widehat{Z}_a),\\ A_t &\sim p_\psi(\cdot\mid o_t,\ell,\widehat{S}_{t+h}), \end{aligned} \tag{3}$$

其中，$h$ 表示未来观测相对于当前时刻的时间偏移。

模型架构

图2 WAVE-0概述。 第一阶段：潜在世界模型在固定的视觉嵌入空间中学习以动作为条件的动力学，并通过未来表征预测、潜在残差监督和反事实动作排序进行训练。第二阶段：VLM生成与冻结动作编码器输出的表征相对齐的潜在动作计划。冻结的世界模型预测这些计划的视觉后果，重采样器将其压缩为未来token，并与原始VLM上下文一起作为动作专家的条件输入。

WAVE-0 以预训练的 $\pi_{0.5}$ 为基础，通过潜在动作规划、未来世界状态预测，以及以未来为条件的动作生成，将视觉—语言理解与显式动力学预测相结合。

训练依次分为两个阶段。 第一阶段，潜在世界模型根据视觉观测、本体感知状态和真实动作序列，联合学习动作表征与潜在动力学，从而在固定的视觉嵌入空间中预测未来世界状态。 第二阶段，我们将冻结的世界模型集成到 $\pi_{0.5}$ 中，并训练 VLM，使其生成的潜在动作计划与已经学得的动作表征空间对齐。世界模型将这些计划转换为预测的未来视觉表征，并将这些表征与原始视觉—语言上下文一起，作为动作专家模块的条件输入。

潜在世界模型

在固定的视觉嵌入空间中学习以动作为条件的潜在动力学。 具体而言，我们使用预训练 $\pi_{0.5}$ 中冻结的 SigLIP 编码器与视觉投影器，并在其后进行空间池化，得到 $S_t=\mathcal{E}(I_t)$ 和 $S_{t+h}=\mathcal{E}(I_{t+h})$。

动作编码器以当前本体感知状态为条件，对真实动作序列进行编码，得到 $Z_a=\mathcal{E}_a(A_t,s_t)$；状态编码器则生成 $z_s=\mathcal{E}_s(s_t)$。一个采用动作条件化 AdaLN-Zero 模块的 Transformer 预测潜在残差，将该残差加到当前表征上，即可得到预测的未来表征：

$$\widehat{\Delta S} = \mathcal{W}_\phi(S_t,z_s,Z_a), \qquad \widehat{S}_{t+h} = S_t+\widehat{\Delta S}. \tag{4}$$

我们使用余弦距离损失监督未来表征，并使用 SmoothL1 损失监督状态变化：

$$\begin{aligned} \mathcal{L}_{\mathrm{future}} &= d_{\cos}(\widehat{S}_{t+h},S_{t+h}),\\ \mathcal{L}_{\mathrm{delta}} &= \operatorname{SmoothL1} \bigl(\widehat{\Delta S},S_{t+h}-S_t\bigr), \end{aligned} \tag{5}$$

其中，$d_{\cos}$ 表示逐词元计算后取平均的余弦距离。

为增强模型对动作的依赖，引入反事实排序损失。在保持当前观测不变的情况下，将示范动作替换为一个不匹配的动作序列 $\widetilde{A}_t$，得到：

$$\widehat{S}_{t+h}^{-} = S_t+ \mathcal{W}_\phi \bigl(S_t,z_s,\mathcal{E}_a(\widetilde{A}_t,s_t)\bigr). \tag{6}$$

对于同一个实际观测到的未来状态，该损失要求使用示范动作得到的预测优于使用不匹配动作得到的预测：

$$\mathcal{L}_{\mathrm{rank}} = r\left[ m+ d_{\cos}(\widehat{S}_{t+h},S_{t+h}) - d_{\cos}(\widehat{S}_{t+h}^{-},S_{t+h}) \right]_+, \tag{7}$$

其中，$[x]_+=\max(0,x)$，$m=0.1$，$r\in\{0,1\}$ 用于屏蔽那些替换后未发生变化的负样本序列。 我们使用以下目标，联合优化动作编码器、状态编码器和世界模型：

$$\mathcal{L}_{\mathrm{stage1}} = \mathcal{L}_{\mathrm{future}} + 0.5\mathcal{L}_{\mathrm{delta}} + 0.1\mathcal{L}_{\mathrm{rank}}. \tag{8}$$

潜在动作规划

将冻结的潜在世界模型集成到预训练的 $\pi_{0.5}$ 中，并训练其中的 PaliGemma VLM ，使其在第一阶段学得的动作表征空间中生成潜在动作计划。

具体而言，在 VLM 的输入序列末尾添加可学习的潜在动作查询 $Q$，并通过以下方式，将对应的输出隐藏状态 $U_Q$ 转换为潜在动作词元：

$$\widehat{Z}_a = \Pi_a\bigl(\operatorname{LN}(U_Q)\bigr),$$

其中，$\Pi_a$ 是一个可学习的线性投影。这些词元作为冻结世界模型的条件输入，用于预测未来视觉表征：

$$\widehat{S}_{t+h} = S_t+\mathcal{W}_\phi(S_t,z_s,\widehat{Z}_a). \tag{9}$$

我们将 $\widehat{Z}_a$ 与冻结动作编码器生成的目标表征 $Z_a$ 对齐，以此监督潜在动作规划：

$$\mathcal{L}_{\mathrm{align}} = d_{\cos}(\widehat{Z}_a,Z_a) + 0.5\operatorname{SmoothL1}(\widehat{Z}_a,Z_a). \tag{10}$$

为监督所预测的视觉后果，我们复用式（5）中的未来表征损失和残差损失，并以 $\widehat{Z}_a$ 作为动作条件进行计算：

$$\mathcal{L}_{\mathrm{world}} = \mathcal{L}_{\mathrm{future}} + 0.5\mathcal{L}_{\mathrm{delta}}. \tag{11}$$

以未来为条件的动作生成

一个轻量级重采样器对预测的未来表征进行池化和投影，将其转换为条件词元：

$$F_t=\mathcal{R}(\widehat{S}_{t+h}).$$

我们将这些词元置于动作专家模块中带噪动作词元的前面，使动作专家能够同时关注原始 VLM 上下文与预测的未来。传递给动作专家的上下文不包含潜在动作查询词元，因此，规划分支仅通过其预测的视觉后果来指导动作生成。 在第二阶段，我们保持世界模型冻结，联合优化 VLM 规划器、未来条件重采样器和动作专家模块：

$$\mathcal{L}_{\mathrm{stage2}} = \mathcal{L}_{\mathrm{flow}} + \lambda_{\mathrm{WAM}} \left( \mathcal{L}_{\mathrm{world}} + \lambda_{\mathrm{align}}\mathcal{L}_{\mathrm{align}} \right), \tag{12}$$

其中，$\mathcal{L}_{\mathrm{flow}}$ 是 $\pi_{0.5}$ 所采用的流匹配目标；$\lambda_{\mathrm{WAM}}$ 用于调节辅助监督的整体权重，$\lambda_{\mathrm{align}}$ 则控制潜在动作对齐损失的相对权重。

实验

WAVE-0 的实验主要验证三件事：潜在未来预测能否提升 VLA 的操作能力；世界模型是否真正利用动作预测后果；这些收益能否以较低的训练和推理成本获得

实验设置

模型与训练

WAVE-0 基于预训练的 $\pi_{0.5}$，保留其 VLM 和流匹配动作专家，额外加入潜在世界模型、动作编码器、状态编码器和未来表征重采样器。第一阶段可训练的世界模型及两个编码器合计约 2.57 亿参数，完整模型约 43 亿参数。

训练分为两个阶段：

1. 使用带动作标注的机器人示范，训练世界模型预测未来视觉表征，并通过反事实排序增强其对动作的依赖。
2. 冻结世界模型，训练 VLM 生成潜在动作计划，再将预测的未来作为动作专家的条件输入。

这里“不需要大规模预训练”指的是不需要额外进行大规模世界模型视频预训练；方法仍然依赖已经预训练好的 $\pi_{0.5}$。

任务与评估

实验环境	设置	主要验证内容
LIBERO	40 个任务，覆盖空间、物体、目标和长时序操作；共 1,693 条示范	对强 VLA 基线的通用提升
RoboTwin 2.0	50 个双臂任务；使用干净场景与强域随机化示范，训练一个多任务策略	更复杂的双臂操作，以及随机化条件下的表现
LIBERO-Plus / Pro / Para	直接评估 LIBERO 上训练的模型，不额外微调	视觉、空间和语言分布变化下的泛化
真实机器人	双臂 AgileX Piper，3 个任务，每个任务 200 条示范、20 次测试	仿真中的收益能否延伸到真实执行

真实任务包括书本整理、USB 收纳和键盘推回，分别涉及杂乱环境中的物体操作、精细放置，以及较长时序的双臂协调。

对比方法

最关键的参照是基础模型 $\pi_{0.5}$，它用于衡量新增机制带来的收益；LaWAM 用于比较另一种潜在世界模型路线；ImageWAM 等方法则提供基于视觉生成的 WAM 参照。论文还设计了“$\pi_{0.5}+\mathrm{WM}$”变体，专门检验世界模型应该如何接入策略。

实验设计与结果

1. 基础操作能力：未来预测是否能提升动作生成？

设计原因。 WAVE-0 首先需要证明：在已有较强语义理解与动作生成能力的 VLA 上，增加潜在未来预测仍然有价值。因此，作者在 LIBERO 和 RoboTwin 2.0 上比较完整方法与 $\pi_{0.5}$，并观察哪些任务提升更明显。

基准	$\pi_{0.5}$	WAVE-0	提升
LIBERO 平均成功率	96.9%	98.7%	+1.8 个百分点
LIBERO Long	92.4%	97.6%	+5.2 个百分点
RoboTwin 2.0 平均成功率	80.38%	91.47%	+11.09 个百分点

LIBERO 已接近性能饱和，整体提升较小，但长时序任务的收益更突出。在 RoboTwin 中，干净场景和随机化场景都取得明显提升；叠三个方块、叠三个碗等具有多个依赖子目标的任务，平均成功率分别提高约 23 和 33 个百分点。

实验结论。 结果支持潜在未来预测对操作策略的有效性，并提示其特别适合前后步骤相互依赖的任务：当前动作的结果会影响后续操作，因此提前考虑动作后果可能更有帮助。不过，任务间提升差异本身还不能单独证明这一机制，需要结合后面的消融实验。

还应保留一个边界：WAVE-0 在 LIBERO 上取得表中最高平均成功率，但在 RoboTwin 上并非整体最优；它略高于 LaWAM，仍低于 ImageWAM 等部分方法。

2. 分布外泛化：收益能否延伸到变化后的环境与指令？

设计原因。 基准内成功率提升可能来自对训练场景的更好拟合。作者因此固定 LIBERO 上训练好的模型，不做额外微调，测试它对视角、机器人初始状态、物体布局和语言表达变化的适应能力。

泛化基准	$\pi_{0.5}$	WAVE-0	提升
LIBERO-Plus	84.5%	88.0%	+3.5 个百分点
LIBERO-Pro	53.0%	61.4%	+8.4 个百分点
LIBERO-Para	71.4%	75.0%	+3.6 个百分点

在 LIBERO-Plus 的七类扰动中，WAVE-0 在六类上优于基础模型，其中机器人初始状态变化和相机视角变化下的提升最大，分别为 14.0 和 6.5 个百分点。但在传感器噪声条件下，成功率下降了 3.7 个百分点。

实验结论。 潜在未来条件化的收益能够延伸到视觉、空间和语言分布变化，说明它的作用不局限于提高原始测试集成绩。但鲁棒性提升并不均匀，不能据此认为模型对所有扰动都更稳健。

3. 真实机器人：预测机制是否能帮助实际执行？

设计原因。 真实操作包含感知误差、执行偏差与复杂物体交互，仿真中的提升未必能够保留。因此，作者在同一双臂平台上，比较 WAVE-0、$\pi_{0.5}$、LaWAM 和 ImageWAM。

WAVE-0 的世界模型先使用三个任务共 600 条示范训练，再冻结世界模型，分别使用各任务的 200 条示范训练任务策略。

方法	书本整理	USB 收纳	键盘推回	平均
$\pi_{0.5}$	40.0%	45.0%	30.0%	38.3%
LaWAM	40.0%	35.0%	55.0%	43.3%
ImageWAM	50.0%	25.0%	45.0%	40.0%
WAVE-0	85.0%	65.0%	70.0%	73.3%

实验结论。 WAVE-0 在三个真实任务上均取得最高成功率，相对基础模型平均提高 35 个百分点，表明这种机制在真实机器人上也具有实用价值。

解释这一结果时，需要注意其设置：世界模型学习了三个任务的共享数据，策略本身仍是按任务分别训练；每个任务只有 20 次测试。因此，这组结果支持所测试任务上的有效性，尚不足以证明广泛的真实任务泛化。

4. 世界模型的接入方式：辅助监督与显式未来条件化有什么区别？

设计原因。 加入世界模型后性能变好，可能仅仅因为训练时增加了监督信号。作者需要进一步验证：让预测的未来直接参与动作生成，是否还有额外收益。

为此，作者在 RoboTwin 上比较三个版本，其中两个增强版本使用相同的第一阶段冻结世界模型：

版本	世界模型的使用方式	平均成功率
$\pi_{0.5}$	原始策略	80.38%
$\pi_{0.5}+\mathrm{WM}$	根据生成动作预测未来，提供辅助训练损失；推理路径不变	89.51%
WAVE-0	训练和推理时，都将预测未来作为动作生成的条件	91.47%

实验结论。 世界模型提供辅助监督已经带来主要收益；显式未来条件化又增加了约 1.96 个百分点，且在干净和随机化场景中均有效。

这组实验支持 WAVE-0 将未来预测接入动作生成路径的设计，但也说明不能把全部提升归因于推理时的“未来想象”：仅训练阶段的动力学监督就已经十分有效。

5. 反事实排序：世界模型是否真正区分了不同动作？

设计原因。 这是论文最关键的机制验证之一。仅最小化未来预测误差时，模型可能主要利用当前图像猜测未来，而忽略动作输入。这样的模型即使预测误差较低，也未必学到了可供策略使用的动作条件动力学。

作者固定当前观测与机器人状态，分别输入真实动作和不匹配动作，再比较两种预测与同一个真实未来之间的距离：

$$g=d_{\mathrm{wrong}}-d_{\mathrm{correct}}.$$

$g$ 越大，表示真实动作得到的预测明显更准确；作者还统计满足 $g\geq0.1$ 的样本比例。

第一阶段设置	动作敏感性差值 $g$	满足间隔的比例
无反事实排序	0.0020	0%
有反事实排序	0.1648	89.5%

加入排序监督后，LIBERO-Plus 和 LIBERO-Pro 的成功率还分别提升了 2.6 和 3.0 个百分点。

实验结论。 单靠未来表征与残差预测监督，模型可能几乎不区分真实动作和错误动作；反事实排序能够明显增强动作依赖，并改善下游泛化。这为“世界模型需要学会不同动作会产生不同后果”提供了直接证据。

这里验证的是示范动作与所构造不匹配动作之间的区分能力，还不能等同于模型对任意未见动作都具有准确的反事实预测能力。

6. 第二阶段辅助目标：为什么同时需要未来监督和动作对齐？

设计原因。 第二阶段中，VLM 生成的潜在计划需要能够被冻结世界模型正确解释。作者希望区分两类监督的作用：

• $\mathcal{L}_{\mathrm{world}}$：约束潜在计划所预测的视觉后果。
• $\mathcal{L}_{\mathrm{align}}$：约束潜在计划与第一阶段学到的真实动作表征对齐。

第二阶段训练目标	LIBERO-Plus	LIBERO-Pro
仅流匹配损失	84.6%	58.0%
加入未来预测监督	85.3%	59.7%
再加入潜在动作对齐	88.0%	61.4%

实验结论。 两类辅助监督具有互补收益。未来监督要求计划产生正确的预测后果；动作对齐进一步把 VLM 输出约束到世界模型已经学会解释的动作表征空间中。结果支持同时约束“计划的后果”和“计划的表示形式”。

7. 效率：增加世界模型的代价是否可接受？

设计原因。 轻量级潜在预测是论文区别于视觉生成式 WAM 的主要卖点，因此需要同时检查训练成本和推理开销。

训练方面，RoboTwin 上 WAVE-0 的两阶段训练约需 670 H100 GPU 小时；LaWAM 仅基准专用训练就约需 1,280 H100 GPU 小时，尚未计入此前的大规模预训练。三个真实任务合计，WAVE-0 处理约 3,328 万个训练样本，LaWAM 包含预训练在内约为 3.456 亿个。

这里的样本数是训练过程中累计处理的样本次数，不代表互不重复的数据量。

推理方面，作者报告的平均服务端延迟为：

方法	平均延迟
$\pi_{0.5}$	287.1 ms
WAVE-0	305.9 ms
ImageWAM	582.6 ms
LaWAM	223.9 ms

实验结论。 相对基础 VLA，WAVE-0 增加约 18.8 ms、约 6.5% 的服务端延迟；相对 ImageWAM，延迟降低约 47.5%。这支持潜在未来预测具有较低附加开销。

WAVE-0 并非所有方法中最快。LaWAM 延迟更低，但模型更小，单次返回的动作数量也不同，因此这组跨方法比较不能直接视为相同条件下的运行速度排名。

8. 注意力可视化：模型是否更关注任务相关区域？

作者比较最后一次去噪时，动作查询对当前主视角图像的注意力。展示的案例中，WAVE-0 更集中于被操作物体和目标区域，LaWAM 的注意力则较分散。

这与性能提升的解释一致，但属于辅助性的定性证据，不能单独证明性能提升的原因。

实验结论与阅读判断

这部分实验形成了较清晰的证据链：

1. 主实验与真机实验表明，在强 VLA 基础上加入潜在未来预测，可以提高操作成功率，长时序和复杂双臂任务的收益较突出。
2. 泛化实验表明，收益能够延伸到多类视觉、空间和语言分布变化，但并非所有扰动都改善。
3. 接入方式消融表明，动力学辅助监督已经很有效，将预测未来显式用于动作生成还能进一步提升表现。
4. 反事实排序消融表明，低预测误差不等于学会动作条件动力学，显式区分不同动作后果对泛化有价值。
5. 第二阶段损失消融表明，未来后果监督与潜在动作表征对齐都有贡献。
6. 效率实验表明，这些收益可以通过相对基础 VLA 较小的推理开销获得，并减少对额外大规模视频预训练的依赖。

对于论文提出的“大规模间接视频预训练是否必要”这一问题，实验支持的判断是：在本文所测试的数据和任务范围内，直接利用带动作标注的示范训练轻量级世界模型，是一条有效且训练成本较低的路线。

总结

提出了 WAVE-0，这是一个通过轻量级潜在世界模型连接视觉—语言—动作（VLA）策略与世界动作模型（WAM）的框架。

不同于生成未来视频帧，或仅将预测的未来作为辅助训练目标，WAVE-0 将 VLM 生成的潜在动作计划转换为预测的未来视觉表征，并在训练和推理期间都将这些表征作为动作专家模块的显式条件输入。

该世界模型直接建立在机器人的真实动作之上，并通过反事实排序监督进行训练。这种训练方式促使模型学习依赖于动作的环境动力学，同时提升策略的泛化能力。

WAVE-0 构建在 $\pi_{0.5}$ 之上，在无需大规模世界模型预训练的情况下，显著提升了模型在仿真和真实世界基准上的表现。这表明，将潜在动力学建立在可执行的机器人动作之上，是构建世界模型增强型机器人策略的一条高效路径。

局限性

1. 世界模型能力有限 WAVE-0 只预测未来视觉表征，不直接建模未来图像、物体状态、接触力或完整环境动力学，因此还不是完整的世界模型。

2. 依赖动作示范数据 世界模型需要带有真实机器人动作的示范进行训练，无法直接利用无动作视频；对示范数据的覆盖范围和质量较敏感。

3. 分布外泛化仍有限 虽然在视角、布局和语言变化下表现较好，但对未见过的动作、物体、机器人平台以及大幅环境变化的泛化能力尚未充分验证。

4. 真实实验规模较小 实验仅覆盖一个机器人平台和三个真实任务，每个任务测试次数有限，因此真实世界中的普适性仍需进一步验证。

5. 整体模型仍然较大 尽管潜在世界模型相较视频生成模型更高效，但完整 WAVE-0 约有 43 亿参数，仍需要较高的训练和部署成本。

6. 实验比较仍存在条件差异 不同方法在模型规模、训练预算、动作块长度和推理配置上并不完全一致，因此性能和延迟比较需要谨慎解读。

贡献者: Aliveriver

下一页WHAT MATTERS FOR WORLD MODELING IN VISION-LANGUAGE-ACTION MODELS?