Visual Verification Enables Inference-time Steering and Autonomous Policy Improvement

一句话总结

VERITAS 是一个面向通用机器人策略的生成器—验证器框架。它将预训练机器人策略作为生成器，在每个决策步骤采样多个候选动作块；任务开始时，利用 VLM 根据初始观测和任务指令生成并缓存一条理想的末端执行器视觉参考轨迹。执行过程中，通过几何评分比较各候选动作块的投影运动与参考轨迹的吻合程度，选出最佳动作块执行。随后，将成功执行的轨迹收集起来，通过行为克隆微调原有策略，从而形成“部署—筛选数据—改进策略”的数据飞轮。

摘要

部署在真实世界中的机器人应当能够从自身经验中学习，并随着时间推移不断改进。

VERITAS，一种面向通用机器人策略的生成器—验证器框架，用于在推理时引导策略并实现自我改进。

预训练的通用机器人策略作为“生成器”，并为其配备一个无需梯度的“视觉验证器”，在推理时评估动作。该框架能够通过推理时引导，在无需额外训练的情况下提升策略性能。

无需使用额外的示范数据进行训练，推理时验证就能持续优于未经引导的通用策略。

经过验证的执行轨迹能够为离线策略改进提供有效监督：使用经过验证的自生成轨迹进行微调的策略，能够获得稳定的性能提升。

使用经过验证的执行轨迹进行后训练，能够达到与使用专家示范相当的效率，同时无需任何人工干预。

推理时验证是一种切实可行且可扩展的机制，能够在部署过程中改进机器人策略。

引言

当前最先进的模型主要依赖人类专家采集的数据进行训练，而扩大此类数据的规模，需要按比例增加人类专家投入的时间。这带来了一个关键挑战：如何在不增加人类数据量的情况下改进机器人策略？ 我们的核心思路是，让机器人系统能够以尽可能少的监督和成本，探索真实世界并从自身经验中学习。

图1 | VERITAS概览。一个预训练的通用策略充当随机生成器，在每个决策步采样多个短时程动作块。一个无梯度的视觉验证器根据任务对齐度和物理合理性对这些候选动作进行评分，并执行得分最高的动作，从而在推理时带来即时性能提升。成功的、由验证器引导的 rollout 会被记录并复用于离线策略改进，形成一个数据飞轮，将验证时的推理蒸馏到策略中，并在最少的人工监督下实现持续改进。

VERITAS，即“用于推理时引导与自主策略改进的视觉验证”（Visual Verification for Inference-time Steering and Autonomous Policy Improvement）。这是一种围绕生成器—验证器框架构建的机器人自我改进方法。

将机器人策略视为能够采样多样化候选动作的生成器，并为其配备一个基于视觉语言模型（VLM）的验证器，由验证器评估这些候选动作，以引导探索和任务执行。 该框架使机器人能够借助推理时验证，自主探索物理世界，并以开箱即用的方式在线引导现有通用策略。 此外，经过验证的自生成执行轨迹还能作为高质量训练数据，用于离线策略改进。

这种生成器—验证器框架在实现策略自我改进时，既不需要（i）训练任何额外的具身推理模型，也不需要（ii）昂贵的人工标注或数据采集。 通过引入一个显式的验证阶段，在推理时评估候选动作，从而将推理过程从策略本身中外置出来。通过建立一个让机器人从自身成功执行中学习的飞轮，我们确保后训练数据来自策略自身的执行分布（on-policy），并且在物理上可行。这使得策略能够在验证器的引导下，快速改进已有行为并学习新的行为。 实验表明，该框架能够提升策略性能，同时达到与从人类专家示范中学习相当的效率。

“自我改进”（即使用策略自行生成的数据进行后训练）带来的性能增益，可以达到使用人类专家数据进行后训练所获得的增益。这表明，在自主策略改进方面，由验证器筛选的数据能够与人类数据相媲美。

方法

预备知识

将语言引导的机器人操作问题建模为一个部分可观测马尔可夫决策过程（POMDP），由元组 $(\mathcal{S}, \mathcal{O}, \mathcal{A}, T, R, \gamma)$ 定义。

问题表述

在每个采样时间步 $t$，机器人接收一个观测 $o_t \in \mathcal{O}$ 和一条自然语言指令 $l \in \mathcal{L}$。目标是训练一个策略 $\pi_\theta$，使其在任务分布上的期望成功率最大化。 标准模仿学习假设使用一个固定不变的数据集；与之不同，我们的目标是让策略在部署后能够通过收集自身经验并从中学习，自主提升性能。

通用机器人策略。

假设可以使用一个预训练的“通用策略” $\pi_\theta$。该策略以当前观测和语言指令为条件，预测用于控制机器人的动作 $a_t$。我们假设，$\pi_\theta$ 能够成功完成目标环境中的大量任务，而不对其具体架构或预训练所使用的数据来源作出限制。采用动作分块（action chunking）：策略预测一个长度为 $H$ 的动作序列：

$$\mathbf{a}_{t:t+H} \coloneqq (a_t, a_{t+1}, \ldots, a_{t+H-1}) \in \mathcal{A}^{H}. \tag{1}$$

作为先验的生成式策略

我们的方法依赖于策略对复杂、多模态动作分布进行建模的能力，例如从不同角度抓取物体，或以不同顺序完成一个多步骤任务。 重点关注使用流匹配或扩散目标训练的生成式策略。确定性回归策略只输出一个均值动作，而生成式策略学习的是条件概率分布：

$$p(\mathbf{a}_{t:t+H}\mid o_t,l).$$

在推理时，动作块通过随机采样过程生成。在本研究中，我们不仅利用这种随机性来提升鲁棒性，还将其作为一种机制，用于探索场景中多样化的功能可供性（affordances）。

方法

提出一种生成器—验证器推理框架，通过执行时的动作选择来引导通用策略。其核心设计原则是结合以下两个环节： （i）由通用策略 $\pi_\theta$ 作为随机生成器进行生成； （ii）由一个独立于策略、无需梯度的可插拔验证器 $V$ 进行评估。 在每个决策步骤中，机器人采样多个短时域动作块，使用 $V$ 对它们进行评分，并执行其中最佳的候选动作。这能够在不更新参数 $\theta$ 的情况下，立即提升在线性能，同时产生成功执行轨迹，用于离线策略改进。完整流程见算法 1。

$$\begin{array}{l} \textbf{算法 1} \ \text{VERITAS 在线引导与自主策略改进} \\ \textbf{输入}: \text{策略 } \pi_\theta, \text{ 验证器 } V, \text{ 指令 } \ell, \text{ 时程 } H, \text{ 采样数 } N \\ \textbf{输出}: \text{执行轨迹、数据集 } \mathcal{D}_{\mathrm{auto}}, \text{ 更新后的策略 } \pi_{\theta'} \\ \\ \text{// 阶段 1：推理时引导} \\ \text{Initialize } \mathcal{D}_{\mathrm{auto}} \leftarrow \emptyset \text{ and observe initial state } o_0 \\ \text{for } t = 0, H, 2H, \ldots \text{ until termination do} \\ \quad \text{// 1. 采样多样化候选动作（式 2）} \\ \quad \text{Sample } \{\boldsymbol{a}_{t:t+H}^{(i)}\}_{i=1}^N \text{ where } \boldsymbol{a}_{t:t+H}^{(i)} \sim \pi_\theta(\cdot \mid o_t, \ell) \\ \quad \text{// 2. 验证候选动作} \\ \quad \text{Score each candidate } v_i \leftarrow V(o_t, \boldsymbol{a}_{t:t+H}^{(i)}, \ell) \\ \quad \text{// 3. 选择 Best-of-N（式 4）} \\ \quad \text{Select } i^\star \leftarrow \arg\max_i v_i \text{ and set } \boldsymbol{a}_{t:t+H}^\star \leftarrow \boldsymbol{a}_{t:t+H}^{(i^\star)} \\ \quad \text{// 4. 执行并记录（式 5）} \\ \quad \text{Execute } \boldsymbol{a}_{t:t+H}^\star \text{ and observe } o_{t+H} \\ \quad \text{Log } (o_t, \boldsymbol{a}_{t:t+H}^\star, \ell) \text{ into } \mathcal{D}_{\mathrm{auto}} \\ \text{end} \\ \\ \text{// 阶段 2：离线自我改进} \\ \text{if Offline update is enabled then} \\ \quad \text{Initialize } \theta' \leftarrow \theta \\ \quad \text{for } e = 1 \text{ to } E \text{ do} \\ \quad\quad \text{Sample batch } \mathcal{B} \sim \mathcal{D}_{\mathrm{auto}} \\ \quad\quad \text{Update } \theta' \text{ via Behavior Cloning (Eq. 6):} \\ \quad\quad \theta' \leftarrow \theta' - \eta \nabla_{\theta'} \sum_{(o,a,\ell)\in\mathcal{B}} \mathcal{L}_{\mathrm{BC}}(\pi_{\theta'}(\cdot\mid o,\ell), a) \\ \quad \text{end} \\ \text{end} \\ \text{return } \pi_{\theta'} \end{array}$$

将策略作为随机生成器

标准的策略部署通常使用确定性解码或贪心解码，以尽量减小方差。 我们则将预训练策略 $\pi_\theta$ 视为一个随机生成器。我们认为，在多样化数据上训练的通用策略，对有效的可供性保有广泛的“先验”。 通过从这一分布中采样，我们能够促使策略生成并找回那些初始概率可能较低、但与任务更加契合的高质量行为。

形式上，在离散采样时间步 $t$，给定观测 $o_t$ 和语言指令 $l$，策略生成一组包含 $N$ 个候选动作块的集合（算法 1，第 1 行）：

$$\mathbf{a}^{(i)}_{t:t+H} \sim \pi_\theta(\cdot\mid o_t,l), \qquad i\in\{1,\ldots,N\}. \tag{2}$$

其中，每个候选动作块 $\mathbf{a}^{(i)}_{t:t+H}=(a_t,a_{t+1},\ldots,a_{t+H-1})$ 表示一个包含 $H$ 个动作的序列。

采用动作块至关重要：它将验证成本分摊到长度为 $H$ 的时域内，并为验证器提供时间上下文，使其能够评估一段行为的后果，而非仅仅评估一个微小的瞬时运动。

图2 | VERITAS 用于推理时引导的概览。在推理时，使用一种两次调用 VLM 的方案来构建视觉验证器。首先，给定初始观测和任务指令，VLM 识别需要关注的目标物体，然后使用检测模型在图像空间中定位该物体。其次，以物体位置、指令和初始观测为条件，VLM 提出一系列像素空间路点，这些路点定义了任务的完整视觉轨迹。在执行过程中，策略采样多个动作候选，并根据这些候选所产生的运动与所提出视觉轨迹的跟随程度进行评分，然后选择最佳候选执行。成功的、由验证器引导的执行轨迹会被记录，并用作离线策略微调的训练数据，从而得到一个任务性能更高的改进策略。

验证器接口

为了从生成器产生的候选动作中选出最优者，我们引入验证器 $V$。我们将验证器定义为一个即插即用、无需梯度的函数，它将观测、候选动作块和任务指令映射为一个标量分数：

$$V(o_t,\mathbf{a}_{t:t+H},l)\in\mathbb{R}. \tag{3}$$

从概念上说，$V$ 估计的是：在指令 $l$ 下，从状态 $o_t$ 出发执行 $\mathbf{a}_{t:t+H}$ 的效用，或其与任务的契合程度。关键在于，使用 $V$ 进行引导的过程仅发生在推理时，不会更新 $\pi_\theta$。因此，验证器可以作为一个即插即用的模块，采用不同机制实现，例如 VLM、几何约束或学习得到的价值模型，而无需重新训练基础策略。

推理时引导

我们通过 Best-of-$N$ 选择将生成器和验证器结合起来。这一机制以推理时计算量换取性能，使机器人能够在行动前先“思考”，即先进行采样和验证。

如算法 1 所示，控制循环按以下步骤进行：

1. 采样： 策略生成 $N$ 个多样化的动作块：

   $$\{\mathbf{a}^{(i)}_{t:t+H}\}_{i=1}^{N}.$$

2. 验证： 验证器为每个候选动作评分：

   $$v_i=V(o_t,\mathbf{a}^{(i)}_{t:t+H},l).$$

3. 选择： 选取得分最高的候选动作索引：

   $$i^\star= \underset{i\in\{1,\ldots,N\}}{\arg\max}\;v_i, \qquad \mathbf{a}^\star_{t:t+H} = \mathbf{a}^{(i^\star)}_{t:t+H}. \tag{4}$$

4. 执行： 机器人在环境中执行动作块 $\mathbf{a}^\star_{t:t+H}$。

这一引导过程起到过滤器的作用，优先选择物理上有效且与任务契合的动作。关键在于，由于 $\pi_\theta$ 保持不变，这些性能提升完全来自推理时计算。

自主自我改进

尽管推理时引导能够提升性能，但它会在每个决策步骤中产生计算成本。为了分摊这一成本并使策略获得持久的性能提升，我们将经过验证的轨迹作为自主监督的来源，无需人类专家付出额外劳动。

这一过程形成了一个数据飞轮。在策略部署期间，我们将通过推理时引导生成、经过验证且成功的执行轨迹记录到数据集 $\mathcal{D}_{\mathrm{auto}}$ 中：

$$\mathcal{D}_{\mathrm{auto}} = \bigcup_k \left\{ (o_t,\mathbf{a}^\star_{t:t+H},l) \right\}_{t\in\mathcal{I}_{\mathrm{success}}}. \tag{5}$$

随后，我们使用标准的有监督行为克隆，在 $\mathcal{D}_{\mathrm{auto}}$ 上微调原始策略 $\pi_\theta$，得到更新后的参数 $\theta'$：

$$\theta' \leftarrow \underset{\theta}{\arg\min}\; \mathbb{E}_{\mathcal{D}_{\mathrm{auto}}} \left[ -\log\pi_\theta \left( \mathbf{a}^\star_{t:t+H}\mid o_t,l \right) \right]. \tag{6}$$

缓解分布偏移

模仿学习面临的一个根本性挑战，是专家与学习者之间的分布偏移。 标准的人工参与方法需要由专家进行成本高昂的重新标注。我们的框架将这一过程自动化：由于 $\mathcal{D}_{\mathrm{auto}}$ 中的数据由机器人自身的策略，即生成器产生，因此这些数据天然来自策略自身的执行分布（on-policy），并且在运动学上可行。验证器充当“专家”过滤器，确保只保留高质量数据。

由此形成了闭环：验证器所进行的推理被蒸馏到策略中，从而减少未来部署时对大量采样，即较大 $N$ 值的需求。 关键在于，经过验证的数据由策略自身生成，其动作分布接近策略的动作先验，因此能够缓解分布偏移，并保持策略改进的效率。

数据飞轮

数据飞轮指的是一个不断循环的改进过程：系统运行产生数据，数据用于改进系统，改进后的系统再产生更好的数据。 就像飞轮转起来后，后续的转动会得到前面积累的推动。

在这篇论文中，这个循环具体是：

1. 策略生成候选动作：机器人根据当前观测和任务指令，采样多个动作块。
2. 验证器筛选动作：评估候选动作，选择更合适的动作执行。
3. 收集成功轨迹：记录机器人在验证器引导下成功完成任务的过程。
4. 用这些轨迹微调策略：让策略学会成功轨迹中的行为。
5. 改进后的策略继续执行任务：再生成候选动作、接受验证，并积累新的训练数据。 可以把它理解为：

策略 → 验证并执行 → 成功数据 → 训练出更好的策略 → 再次执行

这里最关键的是：验证器当下选出的好动作，不仅帮助机器人完成这一次任务，还会通过后续训练变成策略自身的能力。 因而，推理时投入的额外计算，可以转化为长期的策略改进。

不过，“飞轮”描述的是这种反馈循环的设计，并不保证性能会自动、无限提升。它是否有效，取决于验证器能否筛出好行为、收集的数据是否有价值，以及策略能否从这些数据中学到东西。

应用于机器人操作

以 $\pi_0$ 架构为例开展分析 这种流匹配建模方式使我们能够有效地从复杂、多模态的动作分布中采样，为测试时探索有效解决方案提供必要的多样性。我们将这一生成器与视觉验证器配对，后者旨在将高层语义指令落实为精确的几何约束。

视觉验证器设计

为了在无需昂贵三维标注的情况下，将高层语义指令落实为精确的几何约束，我们设计了一种验证器，其依据是由前沿视觉语言模型（VLM）提出的绝对像素坐标空间中的轨迹。

验证过程包含两个阶段：

1. 轨迹生成： 在任务开始时，将初始观测 $o_0$ 和语言指令 $l$ 提供给 VLM，并通过提示要求其提出一条视觉推理轨迹：即叠加在图像上的一系列像素空间路点 $\{w_k\}$，用于定义完成任务所需的理想末端执行器轨迹。为确保时间上的一致性，这条轨迹在整个执行过程中保持不变。
2. 几何评分： 在推理时，对于从 $\pi_\theta$ 中采样得到的每个候选动作块 $\mathbf{a}^{(i)}_{t:t+H}$，我们将其对应的末端执行器／夹爪位置投影到图像平面上。验证器分数 $v_i$ 被计算为：候选动作的投影轨迹与 VLM 生成轨迹中最近线段之间的欧氏距离的负值。

关键在于，这一设计能够实现高效验证，无需在线跟踪，也无需在每个验证步骤中调用成本高昂的 VLM。一旦视觉轨迹生成完毕，验证就简化为快速的几何一致性检查，从而能够以极低的额外延迟评估大量候选样本，即采用较大的 $N$。

推理时引导

使用第 4.3 节介绍的 Best-of-$N$ 策略，实现了一种简单的推理时引导机制。

实现细节

作为一个实例，我们在一台配备单张 NVIDIA GeForce RTX 5090 GPU 的工作站上部署 $\pi_0$-DROID 策略。在控制循环的每一步中（例如以 15 Hz 的频率运行），我们将动作块的时域长度设为 $H$ 步。生成器并行采样 $N$ 个候选动作块，视觉验证器则依据预先计算的视觉轨迹，对这 $N$ 个动作块进行评估。

延迟与吞吐量

VLM 验证器仅在每个回合开始时生成一次执行轨迹，因此不会在策略运行的控制循环中反复调用。几何验证在线运行，其额外开销可以忽略不计（小于 1 毫秒）。策略推理的计算成本随采样动作数量 $N$ 线性增长，并且可以在推理时进行批处理。在实验中，我们采用 $N=5$ 个样本，并维持 15 Hz 的控制频率。这种权衡使我们能够过滤掉基础策略偶尔可能产生的物理上无效或不稳定的行为。

策略改进

为了形成闭环，我们将可引导系统筛选出的、经过验证的成功执行轨迹用于离线策略微调。

数据采集

我们在真实世界中部署经过引导的策略，以完成一组多样化的操作任务。我们记录所有经过验证、并最终成功完成任务的执行过程中所执行的动作块 $\mathbf{a}^\star_{t:t+H}$，同时过滤掉失败的执行轨迹。由此得到一个高质量的数据集 $\mathcal{D}_{\mathrm{auto}}$。

训练设置

我们使用行为克隆目标（公式 6），在 $\mathcal{D}_{\mathrm{auto}}$ 上对预训练的 $\pi_0$-DROID 检查点进行微调。学习率设为 $5\times10^{-5}$，训练共进行 $20{,}000$ 步。实验表明，即使只有少量由验证器筛选的数据（例如 20 条轨迹），也足以使策略分布显著转向引导过程中发现的稳健行为，从而有效地将 VLM 的推理能力蒸馏到策略权重中。

实验

实验围绕三个问题展开：验证能否直接改善执行？验证后的成功轨迹能否改善策略本身？这些自主数据能否替代人工示范？

实验设置

• 仿真： 在 SIMPLER 环境中使用 $\pi_0$-Bridge，评估胡萝卜放盘子、勺子放毛巾、茄子放篮子和堆积木四个任务。
• 真实机器人： 使用 DROID 平台，分别评估 $\pi_0$-DROID 和 $\pi_{0.5}$-DROID，每个策略对应两个操作任务。
• 评价指标： 主要看任务成功率。推理时引导实验固定策略参数；离线改进实验则用收集到的成功轨迹微调策略，检验收益能否保留在策略中。

1. 推理时引导是否有效？

设计与目的： 比较原始策略、VERITAS，以及不同的动作选择方法。仿真中比较启发式验证器、VLM 约束验证器和学习得到的价值函数 V-GPS，用于判断收益是否依赖特定验证器；真实机器人中还加入 PIVOT，考察仅靠动作基元与视觉优化是否足够。

结果： VERITAS 在仿真和真实任务中均稳定改善成功率，并优于 V-GPS。真实任务中，“胡萝卜放盘子”从 34% 提升到 58%，“记号笔插入杯子”从 34% 提升到 60%。简单启发式验证器也有收益，但 VERITAS 整体更好；PIVOT 在所测真实任务中成功率为 0%。

结论： 不更新策略参数，仅通过“多次采样—验证—选择”就能提升性能。结果也支持：有效的动作先验和可靠的选择机制都很重要，验证器需要基础策略先提出有用的候选动作。

2. 验证后的轨迹能否用于离线自我改进?

设计与目的： 收集验证器引导下的成功执行轨迹，再通过行为克隆微调原始策略。这样可以区分“执行时依靠验证器获得提升”和“策略本身学到了更好的行为”。

结果： 仿真中使用 656 条成功轨迹微调，四个任务的平均成功率提高 9.7 个百分点。最困难的堆积木任务从 31.3% 提升到 59.2%。真实机器人实验也观察到有效提升，且总体上随自主数据量增加而改善。

结论： 验证不仅能在执行时筛选动作，还能产生有效训练数据，将部分收益保留到策略权重中。困难任务的提升尤其明显；作者推测，这是因为策略在这些任务上提出的动作更多样，验证器有更大的选择空间，但这一机制解释尚未被单独验证。

3. 自主数据能否替代人工示范？

设计与目的： 分别用 20、30、50、100 条自主成功轨迹或人类遥操作示范微调策略，每个微调策略评估 20 次。在相同轨迹数量下比较，检验自主数据的学习价值。

结果： 四个真实任务中，自主数据的数据效率总体与人工示范相当，部分中等数据量设置下更好。例如“抓取鼠标”任务中，使用 50 条自主轨迹达到 65% 成功率，人工示范为 60%。

结论： 经验证器筛选的自主轨迹能够提供接近专家示范的监督信号。不过，这里比较的是相同轨迹数量下的学习效果，并未完整比较采集时间、失败尝试和计算开销。

4. 超参数实验：计算量与效果如何权衡？

实验	设计原因	结果与含义
动作执行长度 $H$	检验一次开环执行更长动作块是否影响效果	比较 4、8、10 步，性能未明显下降；真实实验默认采用 8 步
候选动作数量 $N$	检验增加采样能否持续换来性能提升	成功率总体随 $N$ 增加而提升，但超过约 8 个后趋于饱和，采样成本仍随 $N$ 线性增加

实验结论与边界

实验支持了 “推理时验证 → 收集成功轨迹 → 离线微调改善策略” 这条路径，也表明自主数据有潜力减少对人工示范的依赖。需要保留的边界是：验证器只能从策略提出的候选动作中选择，效果受基础策略能力限制；当前结果主要来自桌面操作任务和有限次数评估，尚不足以证明长期反复迭代时能够持续提升。

总结

提出了一种生成器—验证器框架，将推理时计算转化为持续的策略改进。通过将推理与动作生成解耦，我们证明，预训练的通用策略仅通过推理时引导，就能获得显著的性能提升。我们进一步表明，经过验证的成功轨迹可以通过后训练蒸馏到基础策略中，以较高的数据效率改善策略性能。

自主验证能够达到与人工采集的专家轨迹相当的数据效率。这为机器人的自我改进提供了一条可扩展的路径，使部署过程中积累的经验能够自然地转化为持久的能力提升。

局限性与未来方向

尽管该框架有效，但它依赖于以推理计算量换取任务性能，需要进行重复采样，因此在对延迟要求严格的应用中，计算成本可能较高。

此外，我们当前的验证器实现依赖于任务开始时生成的静态视觉轨迹。虽然这足以应对准静态操作任务，但在执行过程中场景快速变化的高度动态环境中，它可能难以奏效。未来工作可以研究如何将验证器拒绝候选动作的判断逻辑蒸馏到价值函数中，以实现更快的推理；也可以探索生成器与验证器的联合优化，提高搜索过程中的采样效率，从而应对这些限制。

还需要指出的是，我们的验证器只能从策略提出的候选动作中选出最佳者，以此改善性能。因此，该方法从根本上受到策略在预训练过程中学到的探索先验的限制。我们预计，策略预训练的进步也将进一步改善整个验证流程。

贡献者: Aliveriver

下一页World Models Dream of Success_ Diagnosing and Repairing Failure Insensitivity in Robot World Models