Contact-Grounded Policy: Dexterous Visuotactile Policy with Generative Contact Grounding

约 9891 字大约 33 分钟

Robot World Model Dexterous world model 灵巧手

2026-10-01

Contact-Grounded Policy: Dexterous Visuotactile Policy with Generative Contact Grounding

一句话总结

CGP 认为，触觉不能仅被视为策略的额外输入，而应参与描述和实现接触过程。因此，它以视觉、当前触觉和机器人状态为条件，利用扩散模型联合预测未来的机器人实际状态与触觉反馈；随后，通过接触一致性映射，将预测的“机器人状态-触觉”对转换为柔顺控制器可执行的目标机器人状态，从而使机器人在执行过程中实现预期的接触演化并完成操作任务。

摘要与引言部分

动机

多指手的接触丰富型灵巧操作仍是机器人学中的一项开放性挑战，因为任务成功取决于持续演化的多点接触，而这些接触对物体几何形状、摩擦状态转变和滑移都高度敏感。近年来，融合触觉信息的操作策略已展现出较好的潜力。然而，大多数方法只是将触觉信号作为额外观测，而没有对接触状态进行建模，也没有建模其动作输出与底层控制器动力学之间的相互作用。

摘要

提出接触落地策略（Contact-Grounded Policy，CGP）是一种视觉-触觉策略，通过预测机器人实际状态与触觉反馈的耦合轨迹，利用学习得到的接触一致性映射，将这些预测结果转换为柔顺控制器可执行的目标机器人状态。

由两个部分组成：

一个条件扩散模型，在压缩潜空间中预测未来的机器人状态和触觉反馈；
一个学习得到的接触一致性映射，将预测的机器人状态—触觉对转换为柔顺控制器可执行的目标，使控制器能够实现预期接触。

柔顺控制器（compliance controller）

柔顺控制器是一种控制方法/控制器，用于让机器人在接触物体时表现得像“带弹簧和阻尼的系统”。

刚性控制会尽量强行让机器人到达目标位置；柔顺控制则允许机器人在受到物体阻力时产生一定偏差并“让步”，从而避免打滑、碰撞或施加过大力量。

论文中的含义是：

\text{目标机器人状态} \rightarrow \text{柔顺控制器} \rightarrow \text{实际机器人状态}

当手指接触物体时，实际状态可能无法完全跟随目标状态。这个“目标—实际”之间的差异，正是接触和受力的体现。CGP 就是利用机器人状态和触觉信息，预测适合柔顺控制器执行的目标状态。

引言

灵巧手操作要求机器人持续调节多个手指与物体之间丰富且高维的接触交互。它们具有高度非线性和部分可观测性，其结果还会受到接触几何、摩擦状态转变以及滑移的显著影响。

现有的灵巧操作学习方法通常可归纳为三类主要范式。

第一类是以抓取为中心的流程，重点在于生成稳固的抓取构型。这类方法对于刚性物体的抓取与放置任务十分有效。然而，一旦抓取建立，它们通常会限制之后的手指运动，因此不适用于需要持续重新配置和主动调节接触的接触丰富型行为，例如手内操作和工具使用。
第二类是强化学习（RL），它能够发现复杂的接触策略。但是，强化学习策略往往面临严重的仿真到现实迁移困难，尤其是在使用视觉和触觉观测时；此外，要使其在新任务上实现精细操作，通常还需要大量的奖励工程。
第三类是模仿学习（IL），基于人类示范的模仿学习非常适合接触丰富型灵巧操作，因为人类能够通过协调的手指运动和柔顺交互，自然地调节分布式且随时间变化的接触。模仿学习避免了复杂的奖励设计，能够随着示范数量增加而扩展；当数据集覆盖多样化的接触模式时，它还可以在不同物体和任务之间实现泛化。

许多已有的视觉运动策略在复杂的接触丰富型灵巧操作上仍然表现不佳。其中一个核心限制是：它们主要预测运动学轨迹，却没有显式的接触语义，因此难以表示和控制不断演化的多点接触。

策略必须超越仅进行运动学预测的范式。

首先，策略需要利用多模态感知，将触觉反馈与视觉信息结合起来进行推理，以降低部分可观测条件下的不确定性。
其次，策略不能只把触觉信号当作额外观测，而应当对接触状态，以及动作输出如何与底层控制器动力学相互作用进行建模。

本文提出接触落地策略（Contact-Grounded Policy，CGP），这是一种用于灵巧视觉-触觉操作的监督式策略学习框架，如图 1 所示。图 1：接触接地策略（CGP）通过预测实际机器人状态和触觉反馈，将多点接触建立在真实物理基础上，并利用学习到的接触一致性映射将这些预测转换为柔顺控制器可执行的目标，从而实现精细、接触丰富的灵巧操作。CGP 支持安装在手上的密集触觉阵列和基于视觉的触觉传感器。我们通过仿真环境和实体机器人上的遥操作收集演示，并在多个灵巧操作任务上评估 CGP。

CGP 将灵巧操作表述为一个“接触落地”问题：它通过预测机器人实际状态与触觉反馈的耦合轨迹，来使不断演化的多点接触落地；随后利用学习得到的接触一致性映射，将这些预测转换为控制器可执行的目标机器人状态，并使其考虑柔顺控制器的动力学。

贡献如下。

接触落地策略框架我们提出接触落地策略（CGP），一种能够为灵巧操作中的不断演化的多点接触提供落地机制的视觉-触觉策略。CGP 首先预测机器人实际运动学状态与触觉反馈的耦合轨迹，然后将这些预测转换为可执行的控制目标。具体而言，学习得到的接触一致性映射会将每一个预测的状态—触觉对转换为目标机器人状态，同时考虑柔顺控制器的作用，从而实现预期接触演化的实时执行。在包括手内操作、精细抓取和工具使用在内的一系列灵巧操作任务中，CGP 优于视觉运动和视觉-触觉扩散策略基线。
面向接触落地的高效触觉预测我们在 CGP 中集成了一个潜空间触觉预测模型，以生成高保真的触觉预测。为提高效率，我们使用 KL 正则化的变分自编码器（VAE）压缩触觉观测，并在得到的紧凑潜空间中进行预测。这种设计能够捕捉多样化的接触模式，同时保持较低的运行时开销；我们还在触觉阵列和基于视觉的触觉传感器上验证了它的有效性。消融实验表明，经过 KL 正则化的潜空间能够稳定生成过程，并提升下游策略的性能。

方法

CGP 通过预测以下三类量，将高层任务意图落地为与接触一致的控制目标：

未来的机器人实际状态；
与之对应的预期触觉反馈；
供柔顺控制器执行的目标机器人状态。

问题定义

考虑一个在机械手上配备触觉传感器的臂-手操作系统，例如指尖触觉传感器或覆盖整只手的触觉传感器。在每个时间步 $t$ ，机器人接收多模态观测：

\mathbf{o}_t=\{\mathbf{i}_t,\mathbf{u}_t,\mathbf{x}_t\}.

其中，视觉观测 $\mathbf{i}_t$ 由 $N_i$ 个 RGB 视图组成，例如操作者视角和腕部视角：

\mathbf{i}_t\in\mathbb{R}^{N_i\times H_i\times W_i\times 3}.

触觉观测 $\mathbf{u}_t$ 有两种形式：

来自 $N_u$ 个传感器的触觉 RGB 图像：

\mathbf{u}_t\in\mathbb{R}^{N_u\times H_u\times W_u\times 3};

包含 $N_{\mathrm{tac}}$ 个触觉单元、每个单元特征维度为 $d_{\mathrm{tac}}$ 的触觉阵列：

\mathbf{u}_t\in\mathbb{R}^{N_{\mathrm{tac}}\times d_{\mathrm{tac}}}.

机器人状态 $\mathbf{x}_t$ 由末端执行器位姿和手部关节角组成。末端执行器的平移位于 $\mathbb{R}^3$ 中，旋转则使用 $\mathbb{R}^4$ 中的单位四元数表示。因此，整体状态表示为：

\mathbf{x}_t\in\mathbb{R}^{(3+4+n_h)},

其中 $n_h$ 是手部关节的数量。

策略通过输出目标机器人状态 $\mathbf{a}_t$ 与机器人连接，该状态作为控制器的参考值。例如， $\mathbf{a}_t$ 为机械臂指定操作空间阻抗控制器的设定点，并为机械手的关节空间比例-微分（PD）控制器指定关节目标。目标平移位于 $\mathbb{R}^3$ 中，目标旋转则使用 $\mathbb{R}^6$ 中的连续 6D 旋转表示（rot6D），这有助于实现稳定的动作回归 [39, 4]。因此：

\mathbf{a}_t\in\mathbb{R}^{(3+6+n_h)}.

底层控制器将目标状态 $\mathbf{a}_t$ 转换为关节力矩指令。

可以把 $\mathbf{a}_t$ 理解成策略在时刻 $t$ 发给底层控制器的目标值。它包含机械臂和灵巧手的目标，但不是实际测得的状态，也不是直接的电机力矩。具体来说：

对机械臂：给出末端执行器的目标位置和目标姿态，供操作空间阻抗控制器跟踪。
对灵巧手：给出各个手指关节的目标角度，供关节 PD 控制器跟踪。

图 2：使用三自由度旋转关节手指进行接触接地的示意图，展示了实际机器人状态、目标机器人状态以及由此产生的接触面片。我们假设每个关节由低层比例-微分（PD）控制器控制，该控制器可视为一个虚拟弹簧-阻尼器，将目标关节角与实际关节角之间的跟踪误差映射为电机力矩，从而实现柔顺运动。

接触落地（Contact Grounding）

CGP 通过耦合的状态信号和触觉信号来表示接触。这些信号可以被直接测量，并且能够映射为控制器可执行的目标。一个关键观察是：在给定的触觉传感器和柔顺控制器配置下，无需显式指定接触位置或接触模式，接触可以由三元组表示：

(\mathbf{x}_t,\mathbf{u}_t,\mathbf{a}_t),

其中：

$\mathbf{x}_t$ 是机器人实际状态；
$\mathbf{u}_t$ 是触觉反馈；
$\mathbf{a}_t$ 是柔顺控制器的参考值，即目标机器人状态。

在闭环跟踪过程中，交互表现为 $\mathbf{a}_t$ 与 $\mathbf{x}_t$ 之间的差异，而产生的接触结果则反映在 $\mathbf{u}_t$ 中（见图 2）。

基于这种耦合关系，我们学习一个与控制器相关的接触一致性映射。给定 $(\mathbf{x}_t,\mathbf{u}_t)$ ，该映射预测一个目标状态 $\mathbf{a}_t$ ，使得柔顺控制器跟踪该目标时能够重现观测到的交互：

\mathbf{a}_t=\mathcal{M}_{\phi}(\mathbf{x}_t,\mathbf{u}_t). \tag{1}

公式（1）无需显式建模接触位置、接触模式或系统动力学；相反，它学习的是一种紧凑、隐式且依赖于具体系统配置的映射。由于该映射与特定的机器人本体、传感配置和柔顺控制器动力学绑定，因此可以完全通过数据驱动的方式学习，同时仍然能够灵活处理那些难以通过手工设计的接触参数化方式或显式动力学模型描述的分布式、不断演化的多点接触。

策略流程概述（Policy Pipeline Overview）

架构（Architecture）

图 3：接触接地策略（CGP）概览。CGP 通过预测实际机器人状态与触觉反馈的耦合轨迹，并利用学习到的接触一致性映射将这些预测转换为柔顺控制器可执行的目标机器人状态，从而实现多点接触的接地。

将一段短时间的观测历史表示为：

\mathbf{O}_t= \{\mathbf{o}_{t-T_o+1},\ldots,\mathbf{o}_t\},

其中 $T_o$ 表示观测时间范围。 CGP 包含两个相互耦合的组件，以结构化的方式实现接触落地。第一个组件是接触一致性映射 $\mathcal{M}_{\phi}$ 。如公式（1）所示，它推断与当前交互一致的控制器参考值。第二个组件是条件轨迹生成器 $\pi_{\theta}$ ，用于预测交互在未来时间范围内应如何演化。以 $\mathbf{O}_t$ 为条件，该生成器采样未来机器人实际状态和触觉反馈的耦合轨迹：

(\hat{\mathbf{X}}_t,\hat{\mathbf{U}}_t) \sim \pi_{\theta}(\cdot\mid\mathbf{O}_t),

其中：

\hat{\mathbf{X}}_t= \{\hat{\mathbf{x}}_{t+1},\ldots,\hat{\mathbf{x}}_{t+T}\}, \hat{\mathbf{U}}_t= \{\hat{\mathbf{u}}_{t+1},\ldots,\hat{\mathbf{u}}_{t+T}\}.

这里， $T$ 表示预测时间范围。在我们的实现中， $\pi_{\theta}$ 采用类似扩散策略的设计，并由 U-Net 去噪器参数化。

这种因式分解是有意设计的。CGP 不直接将观测映射为控制器参考值，而是首先预测未来机器人实际状态和触觉反馈中的交互目标，用以描述预期的接触演化；随后，通过 $\mathcal{M}_{\phi}$ 将这些目标转换为可执行的目标机器人状态。这种分离使轨迹生成器能够以状态-触觉耦合轨迹的形式建模接触演化，同时让映射通过生成底层控制器参考值来实现预期接触。

残差映射（Residual Mapping）

我们以残差形式构造接触一致性映射 $\mathcal{M}_{\phi}$ 。它不是直接回归目标状态，而是输出相对于当前机器人实际状态的偏移量。这种设计为学习过程提供了锚点，改善了条件化效果，并使柔顺控制器能够获得更加稳健的目标。

CGP 不让网络直接预测一个完整的目标状态，而是让它预测“从当前状态需要改多少”。可以写成类似：

\mathbf{a}_t \approx \mathbf{x}_t+\Delta_t,

其中：

$\mathbf{x}_t$ ：机器人当前实际状态；
$\Delta_t$ ：网络根据触觉和状态预测出的修正量；
$\mathbf{a}_t$ ：最终给控制器的目标状态。

这样做有三个好处：

更容易学习：网络只需学习局部修正，而不是从零预测完整姿态。
更稳定：当前实际状态本身就是一个合理的基准，不容易产生特别偏离的目标。
更适合接触操作：触觉信息可以用来调整当前状态，例如让手指多弯一点、少弯一点，以维持合适的接触。

推理与执行（Inference and Execution）

在测试阶段，CGP 从 $\pi_{\theta}$ 中采样未来机器人实际状态和触觉反馈轨迹，并逐步将它们转换为目标机器人状态

\hat{\mathbf{a}}_{t+k} = \mathcal{M}_{\phi} \left( \hat{\mathbf{x}}_{t+k}, \hat{\mathbf{u}}_{t+k} \right), \qquad k=1,\ldots,T.

柔顺控制器跟踪下一个目标机器人状态，而策略则以滚动时间窗的方式不断重新规划。

潜空间触觉生成（Latent Tactile Generation）

灵巧手的原始触觉观测可能具有很高的维度，尤其是在使用基于视觉的触觉传感器和密集触觉阵列时。因此，进行长时间范围的触觉生成会带来较高的计算成本。为了在保持接触变化性的同时实现高效实时生成，CGP 在学习得到的潜空间中生成触觉轨迹。

使用 VAE 进行触觉压缩（Tactile Compression with VAE）

训练一个变分自编码器（VAE），将原始触觉观测 $\mathbf{u}_t$ 压缩为紧凑的潜表示：

\mathbf{h}_t=E(\mathbf{u}_t), \qquad \hat{\mathbf{u}}_t=G(\mathbf{h}_t),

其中 $E$ 和 $G$ 分别表示编码器和解码器。

紧凑且结构良好的潜空间对于稳定、高效的扩散生成至关重要。因此，我们使用 KL 正则化，以促进这种紧凑潜表示的学习。 VAE 主干网络可以适配不同的触觉模态，例如触觉阵列或触觉图像，同时共享相同的训练目标和流程。在所有情况下，触觉观测都会被映射到固定维度的潜向量：

\mathbf{h}_t\in\mathbb{R}^{M}.

状态与触觉潜变量上的耦合扩散

压缩之后，触觉轨迹与机器人实际状态一起在潜空间中生成。我们定义耦合的未来轨迹为

\mathbf{Y}_t= [ \mathbf{x}_{t+1:t+T}, \mathbf{h}_{t+1:t+T} ],

其中包含预测时间范围内未来的机器人实际状态和触觉潜状态。我们使用扩散模型，根据观测历史 $\mathbf{O}_t$ 建模 $\mathbf{Y}_t$ 的条件分布。遵循标准 DDPM/DDIM 训练方法，我们采样一个扩散步 $j\in\{1,\ldots,J\}$ ，并使用高斯噪声扰动干净轨迹 $\mathbf{Y}_t^0$

\mathbf{Y}_t^j = \alpha_j\mathbf{Y}_t^0+\sigma_j\boldsymbol{\epsilon}, \qquad \boldsymbol{\epsilon}\sim\mathcal{N}(\mathbf{0},\mathbf{I}),

其中 $\{\alpha_j,\sigma_j\}$ 是固定的噪声调度系数。我们训练一个 U-Net 去噪器 $\pi_{\theta}$ ，使其在观测 $\mathbf{O}_t$ 的条件下预测注入的噪声

\mathcal{L}_{\mathrm{diff}}(\theta) = \mathbb{E}_{(\mathbf{O}_t,\mathbf{Y}_t^0),\boldsymbol{\epsilon},j} \left[ \left\| \boldsymbol{\epsilon} - \pi_{\theta} (\mathbf{O}_t,\mathbf{Y}_t^j,j) \right\|^2 \right].

实现细节（Implementation Details）

触觉编码器与解码器（Tactile Encoders and Decoders）

在仿真和真实硬件中，我们使用不同的触觉模态：

仿真中使用密集触觉阵列；
实体系统中使用基于视觉的触觉传感器，即 RGB 触觉图像。

在仿真中，触觉感知由密集触觉阵列提供：

\mathbf{u}_t \in \mathbb{R}^{N_{\mathrm{tac}}\times d_{\mathrm{tac}}},

例如，对于三维力向量， $d_{\mathrm{tac}}=3$ 。我们采用一种 1D ResNet 风格的架构，沿触觉单元维度 $N_{\mathrm{tac}}$ 进行卷积，并将 $d_{\mathrm{tac}}$ 视为通道维度。在解码时，潜代码首先被投影为紧凑的一维特征图，随后通过转置卷积和残差细化逐步上采样，最后使用一个卷积层重建触觉特征。

在真实硬件中，触觉感知由 $N_u$ 个基于视觉的触觉传感器提供，每个传感器生成一张 RGB 图像。我们采用逐传感器的设计，并共享 2D ResNet 风格的编码器-解码器权重。每张触觉图像都被独立处理，以生成一致的指尖表示。编码器由卷积干、带步幅的残差块以及全局池化组成；解码器则镜像这一结构，通过逐步上采样和残差细化重建图像。最后使用一个卷积层重建 RGB 触觉图像。

视觉编码器与扩散模型（Visual Encoder and Diffusion）

在视觉编码和扩散模型方面，我们采用 Diffusion Policy 的架构，使用基于 U-Net 的条件扩散模型和 DDIM 采样，以实现高效推理。

在仿真中，视觉特征、触觉特征和低维机器人状态被拼接起来，并通过 FiLM 条件化注入扩散 U-Net。

在真实硬件中，每张触觉图像首先使用共享的触觉编码器进行编码（见第 III-E1 节），随后通过跨传感器自注意力机制聚合各传感器的特征。聚合后的触觉特征再与视觉特征和机器人状态拼接，并通过 FiLM 条件化注入整个扩散主干网络。

接触一致性映射（Contact-Consistency Mapping）

接触一致性映射是一个轻量级网络。

对于触觉阵列，我们优先保证触觉信息的保真度：首先将扩散模型预测的触觉潜变量解码为原始触觉信号，然后重新编码，并将得到的特征与机器人实际状态拼接，最后使用多层感知机（MLP）预测目标状态。这种设计能够保留详细的接触信息，从而用于目标状态预测。

对于基于视觉的触觉传感器，我们采用更轻量的设计，以满足实时部署需求。在整个预测时间范围内重建触觉图像的计算成本明显更高，因此，我们直接将扩散模型预测的触觉潜状态与机器人实际状态拼接，并将其输入 MLP 预测头。这样可以显著降低推理成本，同时保留足够的触觉信息，以实现与接触一致的执行。

我们在仿真和真实硬件中采用不同的设计，是因为两者的触觉模态和运行时约束不同：

触觉阵列的解码计算开销较低，并且能够保留高频接触细节；
触觉图像的重建计算量较大，可能成为实时推理的瓶颈。

系统概览

仿真设置

图 4：遥操作流程。我们在仿真中使用 Meta Quest 3 头显进行基于 VR 的手部追踪，在实体机器人上使用 OptiTrack 系统进行基于动作捕捉的手部追踪。尽管追踪前端不同，两种设置共享相同的重定向与控制器栈架构。

通过原生插件将实时有限元求解器集成到 Unreal Engine 中。该求解器使用结合数据驱动超降阶技术的降阶模型，以交互速率模拟刚性物体与柔性物体之间的接触，并为灵巧操作提供丰富的逐接触点状态

Unreal Engine 负责渲染和输入输出，而物理仿真步则在每一帧中通过原生方式推进。仿真机器人系统由以下部分组成：

一个由操作空间阻抗控制器控制的 UR5 机械臂；
一个由关节空间 PD 控制器控制的 Tesollo DG-5F 五指机械手，该机械手具有 20 个自由度。

为了捕捉丰富的多接触交互，我们在所有手指的内侧表面和手掌上布置密集触觉阵列。该阵列包含 768 个感知点，每个感知点报告一个三维力向量，因此触觉观测表示为：

\mathbb{R}^{768\times 3}.

视觉观测由两个 RGB 摄像头提供，包括一个操作者视角摄像头和一个腕部摄像头。

示范数据通过 VR 遥操作采集，使用 Meta Quest 3 头显进行手部跟踪（见图 4）。

跟踪得到的手部位姿被映射到机器人末端执行器位姿，以确定机械臂目标.对于手指，我们将操作者跟踪得到的指尖位置重定向到 DG-5F，并按照该机械手的运动学范围对位置进行缩放；随后使用 RelaxedIK 求解逆运动学，生成手指关节目标，如图 4 所示。

真实机器人设置

在真实硬件上，我们使用由操作空间阻抗控制器控制的 Franka Panda 机械臂，以及由关节空间 PD 控制器控制的 Allegro V5 四指机械手。该机械手具有 16 个自由度。

触觉感知由安装在指尖上的四个 Digit360 传感器提供。我们使用触觉图像作为触觉模态。视觉感知则采用与仿真环境相同的双视角设计。

真实机器人示范数据通过 OptiTrack 动作捕捉系统和带传感器的手套采集，如图 4 所示。

我们将跟踪得到的人手位姿映射到机器人末端执行器位姿，以确定机械臂目标。对于手部遥操作，我们采用基于指尖的重定向方式：将手套估计的指尖位置映射到 Allegro 机械手的工作空间，忽略人手的小拇指，然后使用 RelaxedIK 求解逆运动学，获得手指关节目标，如图 4 所示。

实验

实验目的

作者通过三组互补实验验证 CGP 的不同组成部分：

端到端策略执行：CGP 能否在接触丰富型灵巧操作中提高成功率。
接触一致性映射： $(\mathbf{x}_t,\mathbf{u}_t)\rightarrow\mathbf{a}_t$ 是否真的能表示接触，并泛化到未见过的接触构型。
触觉潜空间：VAE 压缩和 KL 正则化是否适合长时间范围的触觉预测。此外，作者还比较了各方法的推理时间。

实验设置

任务与数据

任务	环境	示范数	主要接触难点	成功条件
手内翻转盒子	仿真	60	手指持续换位、滚动与防滑	盒子翻转至直立并保持稳定
脆弱鸡蛋抓取	仿真	100	防滑与避免过大挤压力	举起鸡蛋并稳定保持 4 秒，不能掉落或破裂
擦盘子	仿真	100	长时稳定接触、机械臂施力	擦净盘子并将海绵放到一旁
打开罐子	真实机器人	45	高摩擦抓持、持续传递扭矩	瓶盖完全旋下并脱落
手内翻转盒子	真实机器人	90	多点接触切换与真实执行误差	盒子翻转至直立并保持稳定

每次 rollout 都会随机化机器人初始状态和物体位姿；擦盘子任务还随机化海绵位置与桌面高度。

观测与控制配置

所有策略均使用两个 RGB 视角：环境视角和腕部视角。
仿真触觉为 $768\times3$ 的全手触觉阵列，触觉潜变量为 32 维。
真实系统使用 4 个 Digit360，每个输出 $72\times72$ RGB 触觉图像，总潜变量为 80 维。
观测时间范围 $T_o=2$ ，预测时间范围 $T=16$ ，执行时间范围 $T_a=8$ 。
策略运行频率为 5 Hz，每次推理使用 8 步 DDIM 去噪。
仿真动作和状态分别为 29 维、27 维；真实系统分别为 25 维、23 维。

对比方法

作者设置了两个基线：

Visuomotor DP：仅使用视觉和机器人状态的标准扩散策略。
Visuotactile DP：在上述基础上加入触觉观测。为保证公平，两个基线与 CGP 使用相同的视觉编码器、触觉编码器和 U-Net 主干。主要差异是：基线直接预测动作，而 CGP 预测未来实际状态与触觉，再通过接触一致性映射生成可执行目标。

评估

三个仿真任务报告最近 5 个检查点的平均成功率，共进行 250 次 rollout。
两个真实任务各进行连续 15 次 rollout。
手部构型预测报告关节角 MAE，单位为 $10^{-3}$ rad，结果为 3 个随机种子的均值与标准差。
触觉重建使用 MAE、Active MAE 和 KL divergence。
推理时间在 NVIDIA A100 80GB GPU 上测量，每种方法运行 50 次。

实验设计与结果

端到端灵巧操作

方法	仿真盒子	仿真鸡蛋	仿真擦盘	真实开罐	真实盒子
CGP	66.0%	74.8%	58.4%	93.3%	80.0%
Visuotactile DP	58.0%	70.0%	43.6%	66.7%	60.0%
Visuomotor DP	53.2%	53.2%	42.4%	73.3%	60.0%

CGP 在五项任务中全部取得最高成功率。相对于视觉-触觉 DP，提升分别为 8.0、4.8、14.8、26.6 和 20.0 个百分点。

提升在擦盘子、开罐和手内翻转等任务上尤其明显。这些任务的共同特点是：接触必须长时间保持或连续变化，因此仅将触觉作为策略输入并不充分，还需要把预期接触转换为柔顺控制器真正能够执行的目标。

作者还将较早时刻预测的触觉与对应未来时刻实际观测到的触觉进行对齐。两者在接触区域和力分布上较为一致，说明 CGP 不只是预测“看起来合理”的触觉，而是能够生成可执行目标，使机器人实际实现预测的接触演化。

接触一致性映射

该实验脱离完整策略，单独验证：

(\text{实际状态},\text{触觉})\rightarrow\text{目标状态}.

数据包含仿真中的 11 种物体、150 个遥操作抓取 episode、4114 帧。每个 episode 对应独特的抓取构型。为防止相邻帧泄漏，作者按 episode 进行 1:1 训练/验证划分。

输入与编码器	绝对预测 MAE	残差预测 MAE
状态 + 触觉，ResNet1D	8.80 ± 0.24	5.94 ± 0.20
状态 + 触觉，MLP	12.50 ± 0.32	8.33 ± 0.32
状态 + 触觉，Transformer	14.39 ± 0.38	9.58 ± 0.48
仅状态	16.05 ± 0.39	10.64 ± 0.38
仅触觉，ResNet1D	35.93 ± 0.89	12.15 ± 0.20

实验支持三个结论：

状态和触觉缺一不可：状态提供全局手部构型，触觉提供接触引起的局部变化。
残差预测优于绝对预测：围绕实际状态预测接触条件修正量，比从头回归目标状态更容易。
ResNet1D 优于 MLP 和 Transformer：局部卷积结构更适合密集触觉阵列。

因此，最终 CGP 采用“状态 + 触觉、ResNet 编码器、残差目标”的接触一致性映射。

触觉压缩与 KL 正则化

作者比较了 MLP、ResNet1D 和 Transformer 编解码器，并分别测试有无 KL 正则化。一个看似矛盾但很重要的结果是：

去掉 KL 后，触觉重建 MAE 通常更低；
但潜空间的 KL divergence 显著增大，分布更不规则；
将该潜空间用于扩散预测后，策略成功率反而下降。

例如，ResNet1D 在盒子任务中，去掉 KL 后重建 MAE 从 1.26 降至 0.97，但 KL divergence 从 0.12 上升至 0.73。鸡蛋和擦盘任务也表现出相同趋势。

这说明重建误差不是选择触觉潜空间的唯一标准。CGP 更需要一个紧凑、连续且容易被扩散模型建模的潜空间。KL 正则化虽然牺牲少量单帧重建精度，却能提高长时触觉生成的稳定性和最终策略成功率。

推理效率

在触觉阵列任务中，CGP 推理约为 110 ms，视觉和视觉-触觉基线约为 90–100 ms；在 Digit360 任务中，CGP 与视觉-触觉 DP 均约为 135 ms。

因此，CGP 增加触觉轨迹预测和接触一致性映射后，并未引入数量级上的额外成本。主要开销仍来自 U-Net 去噪与编码器；接触一致性映射本身非常轻量。

总结

实验形成了一条较完整的证据链：

端到端结果证明 CGP 在五项接触丰富型任务上均优于基线。
时间对齐的触觉结果证明预测的接触确实能在执行中实现。
映射消融实验证明接触需要由“机器人实际状态 + 触觉”联合表示。
残差消融实验证明目标状态适合建模为相对于实际状态的接触条件修正。
VAE 消融实验证明潜空间的可生成性比单纯追求最低重建误差更重要。
效率实验证明增加接触落地机制后仍可保持接近基线的实时性能。

总结

本文提出了接触落地策略（Contact-Grounded Policy，CGP），用于解决多指灵巧操作中不断变化的多点接触控制问题。

CGP 的核心观点是：触觉不应只作为策略的额外输入，还应与机器人实际状态联合起来描述预期接触，并进一步转换为柔顺控制器能够执行的目标状态。

具体而言，CGP 包含两个核心模块：

条件扩散模型预测未来机器人实际状态与触觉反馈的耦合轨迹；
接触一致性映射将预测的“状态-触觉对”转换为柔顺控制器可执行的目标机器人状态。

这篇论文最主要的贡献并不是简单地“增加触觉模态”，而是建立了下面这条完整链路：

\text{视觉与触觉观测} \rightarrow \text{未来状态和触觉预测} \rightarrow \text{接触一致性控制目标} \rightarrow \text{柔顺控制器执行}.

局限性与未来展望

CGP 的一个主要局限是，它同时依赖特定的传感配置和控制配置。接触一致性映射依赖触觉观测，并且是在某一种特定的柔顺控制器下学习得到的，因此无法直接迁移到其他传感器类型或控制器配置。

由此，跨传感器和跨控制器的接触落地仍然具有挑战性。在本文中，CGP 针对每一种传感器都需要从头训练；一旦传感器类型发生变化，就必须重新训练或进行适配。

一个很有前景的方向是开展跨传感器、跨控制器的联合训练。除联合训练外，还可以将控制器参数和机器人物理参数作为接触一致性映射的条件输入，例如：

阻抗增益；
控制更新频率；
机器人运动学参数；
机器人动力学参数。

联合训练与额外的参数条件化可以更好地适应部署环境变化，支持不同传感和控制配置之间的系统化迁移，从而减少重新训练的需求。

另一个局限是，本文采用单任务训练与评估协议：每个策略只针对一个任务进行训练和 rollout。虽然这种设置证明了接触落地机制的有效性，但它并没有检验 CGP 能否在具有不同目标、物体和接触模式的任务之间迁移接触知识。

要扩展到更加广泛的任务分布，可能需要：

使用更多样的示范和交互进行跨任务联合训练；
扩大数据覆盖的物体和接触模式；
使用规模更大、表达能力更强的模型；
使模型能够表示更加广泛的接触行为。

这篇文章通篇在讲状态和触觉的耦合，视觉在扩散模型中的作用是什么？还在作为世界模型预测未来吗？

不是。视觉在 CGP 中仍然是条件观测，但它不作为世界模型的预测对象；模型不会预测未来图像，也不会在图像空间中模拟环境演化。

更准确地说，三种信息承担不同职责：

信息	主要作用
视觉	判断物体位置、几何形状、场景状态和任务进度，决定接下来应发生怎样的交互
机器人状态	描述机械臂和手当前的全局构型
触觉	描述局部接触位置、受力、滑移等视觉难以观测的信息

在扩散模型中，当前及历史视觉、触觉和机器人状态组成条件：

\mathbf O_t= \{\mathbf i,\mathbf u,\mathbf x\}_{t-T_o+1:t}

模型以它们为条件，生成未来的机器人实际状态和触觉轨迹：

(\hat{\mathbf X}_t,\hat{\mathbf U}_t) \sim \pi_\theta(\cdot\mid\mathbf O_t).

其中不包含未来视觉 $\hat{\mathbf I}_t$ 。

实现上，视觉图像先经过视觉编码器得到特征，再与当前触觉特征和机器人状态拼接，通过 FiLM 注入扩散 U-Net。它主要负责告诉扩散模型：

物体在哪里、姿态如何；
当前任务进行到了什么阶段；
应该抓哪里、往哪个方向运动；
接下来应该产生哪一种接触演化。

为什么接触一致性映射不需要视觉？

CGP 将任务决策和接触执行分成了两层：

\underbrace{(\mathbf i,\mathbf u,\mathbf x)}_{\text{理解任务与场景}} \xrightarrow{\pi_\theta} \underbrace{(\hat{\mathbf x},\hat{\mathbf u})}_{\text{期望的接触演化}} \xrightarrow{\mathcal M_\phi} \underbrace{\hat{\mathbf a}}_{\text{控制器目标}}.

扩散模型利用视觉决定“未来应该发生什么接触”；接触一致性映射则根据状态和触觉决定“如何给柔顺控制器下指令，才能实现这种接触”。

一旦期望的 $(\hat{\mathbf x},\hat{\mathbf u})$ 已经确定，视觉信息对于求解对应的控制器目标 $\hat{\mathbf a}$ 就不是必需的。视觉提供高层任务语义，而状态与触觉负责底层接触落地。

它算世界模型吗？

严格来说，不算完整的世界模型。

传统世界模型通常预测环境在动作作用下如何变化，例如：

p(s_{t+1}\mid s_t,a_t),

并可能预测未来图像、物体状态或奖励，再利用预测结果进行规划。

CGP 没有：

显式预测未来图像；
显式预测物体状态；
建模“给定动作后环境会怎样变化”的前向动力学；
在模型中比较多个动作方案并进行规划。

它更接近一个具有预测结构的生成式策略：根据当前观测，直接生成示范数据分布中期望的未来“机器人状态-触觉”轨迹，再将其转换为动作目标。因此，文中的“预测”更像是在生成期望实现的未来交互轨迹，而不是被动预测在某个给定动作下世界将自然演化成什么样。

一句话概括：

在 CGP 中，视觉负责识别场景并决定期望的接触演化；状态和触觉负责表示该接触；接触一致性映射负责把它变成可执行控制目标。视觉是条件，不是未来预测对象，因此 CGP 不是通常意义上的视觉世界模型。