FORCEWAM: DECOUPLING FUTURE AND RESPONSE LEARNING FROM DEMO AND PLAY DATA FOR CONTACT-RICH MANIPULATION

一句话总结

ForceWAM 将任务专家演示与任务无关的探索数据分工使用：仅用成功的任务演示训练 ForceWM，用任务演示和探索数据共同训练逆动力学模型 IDM。部署时，ForceWM 根据当前图像、当前六维力/力矩和任务指令，生成与任务相关的未来视觉—力信息状态；IDM 将这个未来状态作为执行参考，并结合执行过程中实时测得的力/力矩反馈，反应式地输出动作。

任务演示
  ├──> ForceWM：学习任务相关的视觉-力信息未来
  └──> IDM
探索数据
       └──> IDM：学习局部动作如何改变接触

当前图像 + 当前力/力矩 + 任务指令
  └──> ForceWM
        └──> 未来视觉-力信息参考
              └──> IDM + 实时力反馈
                    └──> 当前机器人动作

其中最关键的思想是：专家数据决定“应该实现什么交互结果”，探索数据帮助 IDM 学习“动作如何改变接触”，两者通过未来视觉—力信息状态连接起来。

摘要

专家演示展示了如何完成接触丰富型任务，但对于不同动作会如何改变交互力，其覆盖范围十分有限。与任务无关的探索数据则提供了更广泛的接触动力学经验，却没有明确指定任务目标。 ForceWAM——一种力世界动作模型（force world action model），将“与任务兼容的交互结果”知识和“局部动作如何改变接触状态”知识解耦开来。

世界模型从成功的任务演示中学习，同时预测未来视频以及六维力/力矩轨迹。二者共同描述任务执行过程中运动状态和接触状态的预期演化。 一个独立的逆动力学模型（inverse dynamics model，IDM）同时从任务数据和探索数据中学习，将当前观测以及记录得到的视觉—力信息未来状态映射为对应的机器人动作。 因此，探索数据能够为目标导向的执行过程提供关于力响应的知识。

在部署阶段，IDM 根据生成的未来状态以反应式方式生成动作；在世界模型更新之间，IDM 利用最新的力信息进行反馈，并重复使用已有的未来状态作为参考。

项目主页和代码见

引言

问题：对于接触丰富型任务而言，任务成败不仅取决于机器人移动到哪里，还取决于交互力在整个过程中的变化方式。 将这一学习问题称为以力为中心的操作（force-centric manipulation）：策略不仅要感知力，还必须学习调节力所需的物理规律。 目标是直接从数据中学习完整的以力为中心的操作任务。然而，主要障碍在于：这些规律出现在数据中的位置，与策略学习这些规律的方式并不匹配。

专家演示——我们称之为任务数据——展示了成功完成任务的过程。 与任务无关的探索数据记录了探索性的按压、滑动和释放动作，因此能够提供更多视觉—力信息状态转移以及相应的机器人动作。

关注的问题是：能否更加有效地利用这两种数据源，分别学习它们所提供的不同知识？ 研究将视觉—力信息未来状态作为执行学习的条件，使任务数据和探索数据中的动作都能够与其产生的运动变化和接触变化建立联系。

图1：ForceWAM 的动机。 图中所示的端到端“以力为条件”和“力预见”策略仅使用任务演示数据：前者缺乏预训练视频世界模型的先验，后者缺乏动作块内的力反馈。ForceWAM 将预训练先验与任务演示相结合，用于生成任务兼容的视觉-力/力矩未来，并利用带动作标签的玩耍数据来学习 IDM 执行，从而在全部四种真实机器人条件下取得了最高的平均成功率。

提出 ForceWAM（见图 1），利用视觉—力信息未来状态，将“与任务兼容的交互结果”知识和“局部动作如何改变接触状态”知识解耦。 成功的任务演示用于训练力世界模型（ForceWM），使其能够联合生成未来视频和六维力/力矩轨迹。逆动力学模型（IDM）则从任务数据和探索数据片段中学习，预测能够实现指定视觉—力信息未来状态的机器人动作。

IDM 以当前观测和每个数据片段中记录的未来状态作为条件。只要某个片段记录了动作及其产生的运动和接触结果，就可以用于监督动作预测，即使该片段并没有完成某个完整任务。 在部署阶段，ForceWM 生成的未来状态将替代 IDM 训练时使用的记录未来状态，从而明确规定执行过程应当实现的交互变化。IDM 会在一个动作块内重复利用每个生成的参考未来，并利用新测得的力信息对预测结果进行反应式更新。

主要贡献如下：

• 我们将接触执行形式化为一种由视觉—力信息未来状态条件控制的逆动力学问题。该形式化方式允许不同类型的交互数据共同监督动作预测。
• 我们提出 ForceWAM。其视觉—力信息未来状态接口将“与任务兼容的交互结果”知识和“局部动作—接触响应”知识解耦。ForceWM 从成功演示中学习；IDM 则从任务数据和探索数据中学习，将生成的未来状态映射为动作，并在未来状态刷新之间利用因果性的力反馈。
• 在四种真实机器人评估条件下，我们表明：在保持任务演示、ForceWM 以及 IDM 优化更新均不变的情况下，加入探索数据能够使成功率提升 15—45 个百分点。未来状态条件的消融实验进一步表明，与视觉未来状态结合使用时，力信息未来状态能够带来额外收益，同时保留实测力反馈机制。

方法

方法概述

ForceWAM 将端到端策略中相互纠缠的两个问题分离开来：

1. 成功的交互过程应该呈现出怎样的运动和接触状态？
2. 哪些机器人动作能够实现这种交互状态？

令

$$o_t=(I_t,w_t)$$

表示当前的视觉—力信息观测，其中 $I_t$ 是当前图像，$w_t$ 是当前的力/力矩信息；令 $g_t$ 表示未来的视觉—力信息参考状态，令

$$A_t=(a_{t,0},\ldots,a_{t,H_a-1})$$

表示一个较短的动作序列。我们的模型架构将它们的联合分布分解为：

$$p(g_t,A_t\mid o_t,\ell) = p(g_t\mid o_t,\ell) p(A_t\mid o_t,g_t,\ell)$$

进一步近似为：

$$p(g_t,A_t\mid o_t,\ell) \approx p_{\phi}(g_t\mid o_t,\ell) p_{\theta}(A_t\mid o_t,g_t). \tag{1}$$

其中，第一个因子是力世界模型 ForceWM，第二个因子是逆动力学模型（IDM）。

IDM 根据当前观测和未来视觉—力信息状态预测动作，而不直接使用单独的任务指令 $\ell$。在部署阶段，ForceWM 提供与任务相关的未来状态，IDM 则利用新测得的力/力矩反馈对动作进行反应式更新。由于动作预测以未来状态为条件，任务数据和探索数据可以共享同一个逆动力学学习目标。 我们使用成功的任务轨迹集合 $D_{\text{task}}$ 训练 $p_\phi$，而 $p_\theta$ 可以同时从任务数据和探索数据中学习：

$$p_\theta:\quad D_{\text{task}}\cup D_{\text{play}}.$$

图2：ForceWAM 的训练与部署。 任务演示用于训练视觉-力/力矩未来生成器，而任务数据和玩耍数据则用于基于记录的未来及关联动作来训练 IDM。在部署阶段，ForceWM 提供未来条件，因果 IDM 利用测量到的力/力矩反馈来更新动作。

ForceWAM 包含两个训练阶段和一个在线执行过程：

• 成功的任务演示用于训练视觉—力信息未来状态生成器(ForceWM)；
• 任务轨迹和探索轨迹中的记录未来状态及其对应动作，用于训练 IDM；
• 部署时，ForceWM 生成任务相关的未来状态，IDM 根据该未来状态生成动作，并利用执行期间测得的力/力矩反馈进行快速修正。

在时间 $t$，令 $I_t$ 表示腕部相机图像，令

$$w_t\in\mathbb{R}^{6}$$

表示测得的 TCP 六维力/力矩，令 $\ell$ 表示任务指令。 我们使用两种轨迹数据源：

• 成功的任务数据：展示与任务目标兼容的未来状态；
• 探索数据：包含同步记录的图像、力/力矩、TCP 位姿和夹爪状态，但不要求完成，甚至不要求尝试完成最终任务。

因此，我们利用探索数据学习局部动作与执行响应之间的关系。

从任务数据中预测未来状态

对于从时间 $t$ 开始的一个轨迹窗口，我们构造未来预测目标：

$$g_t=(z_t,W_t),$$

其中：

$$W_t=(\bar w_{t+1},\ldots,\bar w_{t+H_g})$$

是归一化后的未来力/力矩轨迹，$z_t$ 表示未来腕部图像。于是，$g_t$ 就是 ForceWM 所要预测的视觉和接触状态轨迹。

对应的机器人动作由 IDM 单独建模。

ForceWM 根据成功任务演示学习：

$$p_\phi(g_t\mid I_t,w_t,\ell).$$

它的骨干网络是一个预训练的时空视频扩散模型。我们将其潜变量输入组织为五个具有不同语义的部分：

1. 空白前缀；
2. 当前力/力矩；
3. 当前图像；
4. 未来力/力矩轨迹；
5. 未来视觉潜变量。

在去噪过程中，前面三个部分保持固定，后面两个部分则联合生成。对于低维力/力矩数值，我们使用一个固定的打包适配器，将这些数值复制到视频潜变量槽位的空间范围内。

这种设计使同一个时空骨干网络能够同时处理两种未来模态，同时保留独立的视觉输出和力/力矩输出。

对于一个干净的任务未来状态 $g_t$，我们采样噪声水平 $\sigma$，并训练 Elucidated Diffusion Model（EDM）去噪器恢复联合未来状态：

$$\mathcal{L}_{\mathrm{WM}} = \mathbb{E} \left[ \lambda(\sigma) \left\| M_{\mathrm{gen}}\odot \left( x_t-D_\phi(x_t^\sigma;\ell,\sigma) \right) \right\|_2^2 \right]. \tag{2}$$

其中：

• $x_t$ 是由五个语义槽位组成的干净潜变量；
• $x_t^\sigma$ 仅在需要生成的槽位上加入高斯噪声；
• $M_{\mathrm{gen}}$ 用于选择未来力/力矩槽位和未来视觉槽位；
• $\lambda(\sigma)$ 是与噪声水平相关的损失权重；
• $D_\phi$ 是 EDM 去噪器。

图像和力/力矩条件通过相应的固定槽位输入到 $D_\phi$ 中，而任务指令 $\ell$ 则通过文本条件输入。因此，空白槽位、当前力/力矩槽位和当前图像槽位始终保持干净，不接收重建损失。

EDM 训练过程中使用混合噪声分布对 $\sigma$ 进行采样

在推理阶段，ForceWM 从噪声开始生成两个未来槽位，并采样得到：

$$\hat g_t= (\hat z_t,\hat W_t).$$

由于 ForceWM 在成功演示上进行训练，它学习到的是一组与任务兼容的交互状态分布，而不是某一条固定的力轨迹。换言之，同一个任务可能存在多种不同的视觉—力信息未来状态，它们都能够完成该任务。

从任务数据和探索数据中学习逆动力学

IDM 对短动作序列

$$A_t=(a_{t,0},\ldots,a_{t,H_a-1})$$

建模条件分布。每个动作中真正用于执行的部分包括：

• 一个笛卡尔空间 TCP 位姿目标；
• 一个夹爪控制指令。

TCP 位姿均表示为相对于轨迹窗口起始时刻位姿的相对位姿。

每个 IDM 训练窗口包含：

• 当前图像 $I_t$；
• 由同一窗口中后续帧和力/力矩构造得到的记录未来状态 $g_t$；
• 与动作时间步对应的力/力矩序列；
• 与该窗口关联的动作序列 $A_t$。

在 IDM 训练过程中，不运行 ForceWM 来生成训练输入。任务轨迹和探索轨迹使用完全相同的数据构造方式。虽然一个探索窗口不一定能够完成最终任务，但它仍然提供了一个可行的动作序列，以及该动作序列实际产生的视觉—力信息未来状态。因此，这类数据同样可以用于训练逆动力学模型。 条件扩散 IDM 使用归一化后的动作 $\bar A_t$。在扩散步骤 $q$ 中，定义：

$$A_t^q = \sqrt{\bar\alpha_q}\bar A_t + \sqrt{1-\bar\alpha_q}\epsilon,$$

以及：

$$v_{t,q} = \sqrt{\bar\alpha_q}\epsilon - \sqrt{1-\bar\alpha_q}\bar A_t.$$

模型最小化以下损失：

$$\mathcal{L}_{\mathrm{IDM}} = \mathbb{E} \left[ \sum_{k=0}^{H_a-1} \left\| v_{t,k} - v_{\theta,k} \left( A_t^q,q;I_t,\tilde g_t,w_{t:t+k} \right) \right\|_2^2 \right]. \tag{3}$$

公式（3）按照动作 token 逐个计算，使模型能够显式利用动作偏移量 $k$ 时可获得的反馈信息。 Transformer 会按照后文描述的因果结构，并行评估所有动作 token。

为了降低 IDM 在部署时对不完美 ForceWM 预测结果的敏感性，会对记录得到的视觉—力信息未来状态进行随机丢弃和扰动，并将增强后的条件 $\tilde g_t$ 与原始动作目标配对训练

这种训练方式使 IDM 能够适应未来状态条件中的误差，因为部署时的未来状态由 ForceWM 生成，而不是直接来自真实记录。

ForceWAM 的慢速—快速执行机制

ForceWM 更新速度较慢，但 IDM 可以利用最新的力/力矩反馈快速调整动作。使用一种时间因果结构来支持 IDM 的流式推理。同时，慢速—快速执行器负责协调周期性的 ForceWM 预测和快速的反应式动作更新。

时间因果 IDM

IDM 根据更新频率将条件分为两类。 对于一个训练窗口：

• 慢速编码器将当前观测和经过正则化的记录未来状态编码为固定 token；
• 循环式快速编码器表示动作偏移量 $k$ 时已经获得的力/力矩前缀。

慢速条件表示为：

$$C_t^{\mathrm{slow}} = E_{\mathrm{slow}} (I_t,w_t,\tilde g_t),$$

快速条件表示为：

$$C_{t,k}^{\mathrm{fast}} = E_{\mathrm{fast}} (w_{t:t+k}).$$

其中：

• 当前图像由卷积视觉骨干网络编码；
• 当前力/力矩由线性适配器编码；
• 未来视觉潜变量由独立的卷积适配器编码；
• 未来力/力矩样本由线性适配器编码。

一个单向循环编码器会针对每个测得的力/力矩生成一个快速 token，使模型能够随着反馈到达而持续进行动作预测。 训练时，模型并行处理完整的同步动作和力/力矩窗口，但会对两类注意力施加下三角掩码：

1. 动作自注意力；
2. 动作到已测力/力矩的注意力。

这样，动作 token $k$ 只能访问：

• 噪声动作 token $0:k$；
• 已测得的力/力矩 token $0:k$。

因此，在流式推理时，动作 token 所需的输入始终已经可用。

此外，还使用互补掩码隐藏参考力/力矩 token 中偏移量小于或等于 $k$ 的部分，使动作 token $k$ 只能看到更晚的参考力/力矩样本。 这样可以减少训练阶段和推理阶段之间的分布偏移，因为部署时生成的参考未来状态会替代训练时记录得到的未来状态。 未来视觉 token 在全局范围内始终可见。

这些掩码共同实现了公式（3）中的逐 token 条件建模，并避免在未来反馈尚未到达时泄露信息。

ForceWM 与 IDM 的慢速—快速执行

训练完成后，记录得到的未来状态会被 ForceWM 的预测结果替代。

在同步推理过程中，令 $r$ 表示触发一次慢速更新的传感器请求时刻，令 $s$ 表示该次更新生成的第一个新控制指令开始生效的控制索引。ForceWM 根据请求时刻的图像、力/力矩和任务指令生成：

$$\hat g_r.$$

由于 $\hat g_r$ 与 IDM 训练时使用的记录未来状态具有相同的表示形式，因此它可以经过相同的慢速编码器：

$$\hat C_r^{\mathrm{slow}} = E_{\mathrm{slow}} (I_r,w_r,\hat g_r).$$

与此同时，我们采样 IDM 的初始扩散噪声：

$$\xi_r\sim\mathcal N(0,I).$$

于是：

$$\hat g_r \sim p_\phi(g_r\mid I_r,w_r,\ell), \qquad \hat C_r^{\mathrm{slow}} = E_{\mathrm{slow}}(I_r,w_r,\hat g_r), \qquad \xi_r\sim\mathcal N(0,I). \tag{4}$$

生成的参考未来状态、慢速 token、扩散噪声以及基准 TCP 位姿 $T_r$ 会被缓存，并一直使用到下一次 ForceWM 更新。 在动作偏移量 $k$ 处，参考力/力矩的可见范围遵循与窗口索引相关的掩码。令当前反馈前缀为：

$$h_{r,s}^{(k)} = (w_{r,s},w_{r,s+1},\ldots,w_{r,s+k}).$$

IDM 使用相同的缓存噪声重新进行确定性去噪：

$$\hat a_{s,k} = \left[ F_\theta \left( \xi_r; \hat C_r^{\mathrm{slow}}, E_{\mathrm{fast}}\left(h_{r,s}^{(k)}\right) \right) \right]_k,$$

并通过解码器得到实际执行指令：

$$u_{s+k} = \operatorname{Decode}_{\mathrm{exec}} \left( \hat a_{s,k};T_r \right). \tag{5}$$

其中，只有当前动作 token 会被解码，并发送给底层控制器。缓存的基准 TCP 位姿 $T_r$ 用于将相对笛卡尔位姿预测转换为绝对位姿和夹爪控制指令。

在一个动作块内部，重复使用同一个 $\xi_r$ 并采用确定性的 DDIM 采样，可以消除仅由重新采样造成的随机变化。与此同时，随着测得的力/力矩反馈前缀不断增长，新预测的动作 token 会根据更新后的条件发生变化。

因此，在一个动作块内：

• ForceWM 提供相对稳定的任务相关未来参考，并以较低频率更新；
• IDM 使用缓存的未来参考生成动作；
• 新测得的力/力矩反馈被快速编码并用于修正当前动作；
• 只有当前动作 token 被发送至机器人控制器。

实验

实验目的

论文围绕四个问题展开实验：

1. ForceWAM 是否能提升真实机器人上的接触丰富型操作性能？
2. 加入与任务无关的探索数据，是否能改善执行效果？
3. ForceWM 生成的视觉—力信息未来状态是否合理？
4. 视觉未来和力信息未来分别有什么作用，二者是否需要联合使用？

整体实验设计对应论文的核心观点：
任务演示负责学习“任务应该如何完成”，探索数据负责学习“动作如何改变接触状态”。

实验设置

任务

实验使用三个任务族、四种接触条件：

• Sliding：末端执行器沿力传感器中心线滑动，同时维持约 10 N 的法向力；
• Flip：推动盒子使其翻转；
• Flip-D：在翻转过程中加入外部推力干扰；
• Hanoi：将环套到直径 10 mm 的柱子上。

这些任务覆盖了不同类型的接触要求：

• 持续维持接触力；
• 持续推动并保持工具与物体接触；
• 在外部干扰下恢复接触关系；
• 在精细接触中避免卡住并完成插入。

所有任务都使用六维 TCP 力/力矩反馈。

数据

对于三个任务族，分别收集：

• 200 条成功的任务演示；
• 200 条与任务无关的探索轨迹。

两类数据都包含同步的：

• 腕部 RGB 图像；
• 六维 TCP 力/力矩；
• 机器人动作。

任务演示用于训练 ForceWM。探索数据主要包含按压、滑动、建立和解除接触等行为，用于补充 IDM 的动作—接触响应知识。

评价方式

每个任务条件进行 20 次测试。只有在以下情况下才算成功：

• 任务完成；
• 没有触发安全停止；
• 没有人为干预。

对于 Sliding，还要求：

• 完成整个滑动路径；
• 接触力始终满足 5—15 N 的要求。

实验一：整体性能比较

实验设计

将 ForceWAM 与多种方法比较，包括：

• 反应式力控制方法：RDP、ImplicitRDP；
• 力感知视觉语言动作策略：ForceVLA；
• 世界动作模型：Cosmos Policy、Fast-WAM、FA-WAM；
• 通用视觉语言动作模型：$\pi_{0.5}$。

同时测试两个版本：

• Task-only IDM：IDM 只使用任务演示；
• Full-play IDM：IDM 同时使用任务演示和全部探索数据。

结果

方法	Slide	Flip	Flip-D	Hanoi
ForceWAM，Task-only IDM	40%	75%	65%	75%
ForceWAM，Full-play IDM	85%	95%	85%	90%

ForceWAM 在四个条件下均取得最高成功率。

尤其是在 Sliding 中，Full-play IDM 从任务演示版本的 40% 提升到 85%。相比之下，其他方法大多只能达到 10%—20%。这说明单纯生成视觉运动轨迹，无法解决“如何在运动过程中持续调节接触力”的问题。

在盒子翻转任务中：

• 无干扰时，ForceWAM 达到 95%；
• 有外部干扰时，仍达到 85%。

这表明 ForceWAM 不只是重复一条固定动作轨迹，而是能够根据实时力反馈调整局部动作，同时保持总体翻转目标。

在 Hanoi 环任务中，ForceWAM 达到 90%。其他方法虽然能够较好地完成视觉对齐，但不一定能处理环与柱子接触时的受力和卡住问题。视觉—力信息未来状态能够为“如何完成最终插入”提供更具体的参考。

实验结论

ForceWAM 的优势来自两个部分的结合：

• ForceWM 提供任务相关的未来视觉—力信息参考；
• IDM 根据实时力反馈调整局部动作。

也就是说，它同时解决了：

• 任务目标是什么；
• 当前接触状态下应该如何修正动作。

实验二：探索数据的作用

实验设计

固定以下因素：

• 任务演示数量；
• ForceWM；
• IDM 的优化步数。

只改变 IDM 使用的探索数据量，分别使用：

• 0 条；
• 50 条；
• 100 条；
• 150 条；
• 200 条。

这样可以单独分析探索数据本身带来的影响。

结果

随着探索数据增加，所有任务整体都有提升：

• Sliding：40% 提升到 85%；
• Flip：75% 提升到 95%；
• Flip-D：65% 提升到 85%；
• Hanoi：75% 提升到 90%。

其中 Sliding 的提升最大，因为它要求机器人持续沿路径运动，同时不断调节接触力。任务演示通常只覆盖比较理想的接触情况，而探索数据提供了更多按压、滑动、释放以及力变化的实例，因此 IDM 学会了更丰富的局部力响应。

为什么端到端方法没有受益？

论文还测试了给 ImplicitRDP 和 Cosmos Policy 加入探索数据。结果反而变差：

• 探索动作不一定能推动任务完成；
• 端到端策略会直接学习这些动作；
• 因此探索数据可能把策略分布从“成功任务行为”带偏。

ForceWAM 的关键不同在于：

• ForceWM 只从成功任务演示中学习任务相关未来；
• IDM 可以从探索数据中学习局部动作—接触响应。

因此，探索数据不会污染任务目标学习，而是被限制在适合它的模块中使用。

实验结论

探索数据的价值并不在于直接提供更多“成功任务轨迹”，而在于提供更多：

动作如何改变接触状态的局部经验。

这验证了论文关于任务数据和探索数据应当分工学习的核心假设。

观察 ForceWM 的预测结果

实验设计

论文在真实机器人执行盒子翻转时，记录 ForceWM 生成的视觉未来和力未来，并与实际执行过程进行比较。

这个实验不是为了比较成功率，而是为了检查：

• 视觉未来是否描述了合理的任务阶段；
• 力未来是否与视觉运动相匹配；
• 生成结果是否真的可以作为 IDM 的执行参考。

结果

ForceWM 生成的视觉未来能够体现：

1. 机器人接近盒子；
2. 工具与盒子建立接触；
3. 盒子发生旋转；
4. 工具与盒子分离。

预测的力信息也符合相应的物理过程：

• 接触建立时，负载逐渐增加；
• 盒子旋转时，力保持在较高水平；
• 接触结束时，力逐渐下降。

预测的局部图像细节和峰值力并不完全准确，但能够保留主要的交互阶段。论文报告的示例中，$F_y$ 的 RMSE 为 2.43 N，$F_z$ 的 RMSE 为 1.05 N。

实验结论

ForceWM 不一定需要精确复制每一个视觉细节或力峰值。只要它能够同时表达：

• 物体和工具未来的几何关系；
• 与该几何变化对应的接触负载；

就可以为 IDM 提供有效的任务条件。

这也说明 ForceWM 学到的并不是一条固定的力轨迹，而是一个与任务进程相匹配的视觉—接触未来。

实验四：视觉未来和力未来的消融实验

实验设计

使用相同的任务数据、探索数据和 ForceWM，只改变 IDM 的未来条件：

1. 视觉未来 + 力未来；
2. 只有视觉未来；
3. 只有力未来；
4. 不使用未来条件。

所有版本都保留当前图像和当前测得的力反馈。

结果

条件	Slide	Flip	Flip-D	Hanoi
视觉 + 力未来	85%	95%	85%	90%
只有视觉未来	15%	40%	30%	70%
只有力未来	20%	30%	25%	30%
无未来条件	15%	30%	35%	50%

联合使用视觉未来和力未来在所有任务上表现最好。

与只有视觉未来相比，加入力未来后：

• Flip 提升 55 个百分点；
• Flip-D 提升 55 个百分点；
• Hanoi 提升 20 个百分点；
• Sliding 提升 70 个百分点。

反过来，与只有力未来相比，加入视觉未来后，成功率在不同任务上提升约 60—65 个百分点。

实验结论

视觉未来和力未来承担互补的作用：

• 视觉未来：描述未来的空间布局、物体运动和任务进程；
• 力未来：描述未来的接触负载和受力演化。

只有视觉未来时，模型知道物体应该移动到哪里，但不知道应该施加多大力；只有力未来时，模型缺少实现该接触过程所需的几何和运动信息。

因此，接触丰富型操作需要同时预测：

未来应该呈现什么视觉状态，以及未来应该经历什么接触状态。

未来条件增强的消融

论文还测试了训练时的未来条件增强是否有用。

具体做法是：

• 一个版本在训练时对记录未来状态进行随机丢弃和扰动；
• 另一个版本不进行增强；
• 两者部署时都使用 ForceWM 生成的未来状态。

不使用增强时，成功率下降为：

条件	Slide	Flip	Flip-D	Hanoi
使用增强	85%	95%	85%	90%
不使用增强	65%	80%	70%	75%

未来条件增强带来：

• Flip：+15 个百分点；
• Flip-D：+15 个百分点；
• Hanoi：+15 个百分点；
• Sliding：+20 个百分点。

这说明记录得到的未来状态和 ForceWM 生成的未来状态之间存在分布差异。训练时加入扰动，可以让 IDM 对不完美的生成未来更鲁棒。

总体实验结论

实验总体支持 ForceWAM 的三个核心判断：

1. 任务目标和局部接触响应应当解耦学习
   成功演示适合训练任务相关的未来状态模型，探索数据适合训练动作—接触响应模型。

2. 探索数据可以显著改善接触执行
   它尤其有助于持续力调节、接触恢复和精细插入等任务，但前提是将探索数据用于 IDM，而不是直接混入端到端策略。

3. 视觉未来和力未来需要联合建模
   视觉信息提供运动和几何目标，力信息提供接触和负载目标。二者缺一都会显著降低执行性能。

简而言之，ForceWAM 的实验表明：

对接触丰富型操作而言，仅仅预测“物体应该怎么动”是不够的，还必须预测“接触力应该如何变化”；同时，任务演示和探索数据应当承担不同的学习职责。

总结

提出了 ForceWAM，将“与任务兼容的交互结果”知识和“局部动作如何改变接触状态”知识解耦开来。

任务演示用于训练视觉—力信息未来状态模型；任务数据和探索数据则共同训练逆动力学模型，使其能够将生成的未来状态转换为机器人动作，并利用力反馈进行反应式调整。

真实机器人实验表明，ForceWAM 的任务成功率高于所比较的基线方法，并且加入探索数据后能够持续获得性能提升。这说明，分别利用任务数据和探索数据学习互补知识，是实现可扩展、稳定的接触丰富型机器人操作的一条有前景的路径。

局限性

1. 实验规模和任务范围有限 实验只在一个真实机器人平台、三个任务族和四种接触条件上进行：

• 力调节滑动；
• 盒子翻转；
• 带干扰和不带干扰的盒子翻转；
• 环形物体放置。

因此，当前结果主要证明了方法在特定接触丰富型任务上的有效性，还不足以说明其已经具备广泛的跨任务泛化能力。论文没有展示更复杂的多物体操作、长时序任务或不同机器人平台上的结果。

2. 对任务演示的依赖仍然存在 ForceWM 仍然需要从成功的任务演示中学习任务相关的未来状态。探索数据虽然可以补充动作—接触响应，但不能完全替代成功演示。 因此，ForceWAM 的核心能力仍然依赖：

• 是否能够收集足够多的成功任务演示；
• 演示是否覆盖了任务中重要的视觉和接触变化；
• 任务未来状态是否能够被 ForceWM 正确建模。

如果任务演示本身覆盖不足，ForceWM 生成的任务相关未来可能仍然不完整。

3. 生成未来状态并不完全准确 实验中，ForceWM 生成的视觉未来和力未来能够保留主要交互阶段，但局部视觉细节和力峰值仍存在误差。例如，预测的力轨迹并不能完全复现真实执行过程。 因此，方法并不是依赖精确的动力学预测，而是依赖未来状态作为较粗粒度的任务参考。对于对力精度要求更高、接触模式变化更剧烈的任务，预测误差可能会进一步影响 IDM 的执行效果。

4. 对传感器和数据同步要求较高 ForceWAM 需要同步使用：

• 腕部图像；
• 六维 TCP 力/力矩；
• 机器人动作；
• TCP 位姿和夹爪状态。

方法还需要对不同的未来力轨迹和当前力反馈分别进行归一化。如果传感器存在噪声、延迟、漂移或时间不同步，视觉—力信息未来状态以及 IDM 的动作预测都可能受到影响。

5. 系统结构较复杂，部署成本较高 ForceWAM 同时运行：

• 一个生成未来视觉—力信息状态的 ForceWM；
• 一个根据未来状态和反馈生成动作的 IDM；
• 一个负责慢速参考刷新和快速反馈修正的执行机制。

部署时，ForceWM 和 IDM 的调用分别约需要 100 ms 和 60 ms，并且每六个动作刷新一次未来参考。虽然论文表明该速度足以支持实验，但相比单一策略，系统的工程复杂度、计算成本和调参成本更高。

6. 任务数据与探索数据的分工依赖模型设计 探索数据并不是天然有益的。论文中的对比实验表明，将探索数据直接加入端到端策略，可能会降低性能，因为探索动作不一定具有任务推进作用。 这说明探索数据必须被放入合适的学习模块中。ForceWAM 通过 IDM 实现了这种分工，但如果未来任务需要更复杂的目标推理，如何自动判断哪些探索经验能够帮助特定任务，仍然是一个开放问题。

贡献者: Aliveriver

下一页WAVE-0: Bridging VLA Policies and WAMs with Lightweight Latent Future Prediction