Cosmos Policy: Fine-Tuning Video Models for Visuomotor Control and Planning
Cosmos Policy: Fine-Tuning Video Models for Visuomotor Control and Planning
一句话总结
Cosmos Policy 将机器人状态、动作块和价值编码为潜在帧,与多视角图像共同纳入预训练视频模型的潜在扩散序列,通过示范与执行轨迹数据联合学习策略、世界模型和价值函数,既能直接生成动作,也能利用执行经验改进后的预测与价值评估,对基础策略提出的候选动作进行规划筛选。
摘要
图1:我们提出 Cosmos Policy,这是一种最先进的机器人策略,基于 NVIDIA CosmosPredict2-2B 视频基础模型微调而成。Cosmos Policy 可处理多模态输入和多视角相机图像,并预测:(1)机器人动作块;(2)未来状态(由机器人本体感知和图像观测表示);(3)价值(未来状态下的期望剩余回报)。该策略未对基础视频模型做任何架构改动,所有模态均通过视频扩散学习目标进行联合建模。
现状:为了利用视频生成模型的时空先验,机器人领域的研究已尝试将视频模型用于策略学习,但这些方法通常需要多个阶段的后训练,并引入用于动作生成的新架构组件,从而增加了系统的复杂性。
提出 Cosmos Policy,一种简单的方法,仅需在目标平台采集的机器人示范数据上进行单阶段后训练,即可将大型预训练视频模型 Cosmos-Predict2 转化为有效的机器人策略,无须修改模型架构。
Cosmos Policy 将机器人动作编码为潜在帧,并学习在视频模型的潜在扩散过程中直接生成这些动作,从而利用模型的预训练先验和核心学习算法来建模复杂的动作分布。 还会生成未来状态图像及其价值,即期望累积奖励。这些信息同样被编码为潜在帧,使模型能够在测试时进行规划,生成成功概率更高的动作轨迹。
引言
预训练视频生成模型从数百万段视频中学习时间因果关系、隐含的物理规律以及运动模式。这些时空先验对于机器人应用具有重要价值。 本文探索如何有效地利用视频模型进行机器人控制,以及如何利用策略执行轨迹数据来完善其世界模型,从而实现更有效的规划。
本文提出的 Cosmos Policy 仅通过在机器人示范数据上进行单阶段后训练,就将预训练视频模型 Cosmos-Predict2-2B 转化为有效的机器人策略。无须修改模型架构,直接利用预训练模型的核心学习机制来建模动作分布。
提出假设:认为视频生成模型学习算法也适合将动作与其他模态一同表示。 基于这一思路,直接微调视频模型,使其同时生成机器人动作、未来状态图像,以及未来状态的价值,即期望累积总奖励。 将这些信息全部编码为模型潜在扩散序列中的潜在帧。借助对未来状态及其价值的预测,Cosmos Policy 可以采用 best-of-N 采样进行规划。这一搜索过程能够生成更有可能成功完成任务的轨迹。
主要贡献是提出 Cosmos Policy 方法,通过微调预训练视频模型,将不同模态纳入其中,以实现视觉运动控制与规划。 我们在两种模式下评估该方法: 首先将其作为直接策略使用,即不进行规划,然后利用未来状态和价值预测进行基于模型的规划。作为直接策略,Cosmos Policy 在 LIBERO 和 RoboCasa 仿真基准上均取得了新的最先进结果,平均成功率分别为 98.5% 和 67.1%,超过了从头训练的扩散策略、基于视频的策略(例如 UVA、Video Policy),乃至经过微调的 VLA 模型(例如 π₀.₅、OpenVLA-OFT、CogVLA、UniVLA、DP-VLA、GR00T-N1.5)。 在具有挑战性的真实世界双臂操作任务中,它也在最先进的策略中取得了最高的平均成功率,达到 93.6%。此外,在加入基于模型的规划后,我们观察到,在两项具有挑战性的真实世界操作任务中,任务完成率平均提高了 12.5%。这些实验表明,Cosmos Policy 能够利用策略执行轨迹中的过往经验,完善其世界模型和价值函数,从而进行更有效的规划。 最后,我们将这一基于模型的规划方法与一个无模型变体进行比较,并研究两者各自的优势。
预备知识
Cosmos 视频模型
Cosmos Policy 使用的预训练视频模型为 Cosmos-Predict2-2B-Video2World(NVIDIA et al., 2025),并以其参数作为初始化,是一个潜在视频扩散模型,以起始图像和文本描述为输入,预测后续帧,从而生成一段短视频.
对于噪声水平为 σ 的去噪网络 Dθ,其核心训练目标为
L(Dθ,σ)=Ex0,c,n[∥Dθ(x0+n;σ,c)−x0∥22].
其中,x0 是经过 VAE 编码的干净图像序列,c 是由 T5-XXL 嵌入表示编码的文本描述,n∼N(0,σ2I) 是用于扰动 x0 的独立同分布高斯噪声。Dθ 是一个扩散 Transformer,它学习如何根据受噪声扰动的样本恢复干净样本。Dθ 通过交叉注意力接收条件 c,并通过自适应层归一化接收噪声水平 σ 这一条件。
Wan2.1 分词器将大小为
(1+T)×H×W×3
的视频序列压缩为大小为
(1+T′)×H′×W′×16
的潜在序列,其中
T′=4T,H′=8H,W′=8W.
由此得到的潜在帧构成了上式中的 x0。为了支持以单张输入图像作为条件,第一帧不进行时间维度上的压缩。 在训练期间,模型使用条件掩码,确保与输入图像对应的第一个潜在帧保持干净,即不添加噪声,而后续帧则会被加入噪声。
MDP 形式化与模仿学习
我们将机器人操作任务建模为有限时域马尔可夫决策过程(Markov Decision Process,MDP),由元组
⟨S,A,T,R,H⟩
定义。其中,S 为状态集合,A 为动作集合,
T:S×A→Π(S)
为状态转移函数,
R:S×A→R
为奖励函数,H∈N 为时域长度,时间步满足 t∈{1,2,…,H}。
我们训练策略
π:S→Π(A)
以最大化奖励,并采用稀疏奖励设置。在 t<H 时,
R(st,at)=0,
终止时的奖励则满足
R(sH,aH)∈[0,1].
我们使用包含状态—动作对的专家示范,通过模仿学习训练策略。所有策略均预测动作块,即跨越多个时间步的动作序列,以提高运动平滑性和任务成功率。
世界模型与价值函数
世界模型
T^:S×A→Π(S)
学习根据当前状态和动作预测未来状态,从而近似真实环境的动力学。
策略 π 在状态 s 处的价值函数,表示从状态 s 出发、按照策略 π 执行时的期望折扣回报。其定义为
Vπ(s)=Eτ∼π[k=t∑Hγk−tR(sk,ak)st=s].
在上述稀疏奖励设置下,该式可写为
Vπ(s)=Eτ∼π[γH−tR(sH,aH)st=s],
其中,γ 是折扣因子,用于将终止奖励沿时间向前回传。在本文中,我们直接采用蒙特卡洛回报,用实际观测到的回报
γH−tR(sH,aH)
为执行轨迹中的每一次状态转移添加标签。
需要说明的是,严格来说,真实状态并非完全可观测,世界模型预测的是未来的观测,包括机器人本体感知信息和相机图像。不过,为了简化符号并提高可读性,本文统一使用“状态”一词,将观测视为状态的近似。
Cosmos Policy:将视频模型用于控制与规划
介绍如何将 Cosmos-Predict2 转化为一个统一模型,使其能够预测动作、未来状态和价值。本章还讨论如何利用策略执行轨迹数据,实现有效的规划。
图2:Cosmos Policy 的潜在扩散序列。我们展示了潜在帧注入(latent frame injection)——这是将预训练的 Cosmos-Predict2 适配为一个无需架构改动即可预测机器人动作、未来状态和价值的策略的主要机制。首先,原始图像被标记化为潜在帧(第一行)。然后,额外模态被直接插入到视频扩散模型的潜在帧序列中(第二行)。随后,模型的任务是在以干净帧为条件的情况下,对加噪的潜在帧进行去噪(第三行)。更多细节见第4.1节。(注:为简洁起见,本图未展示某些实现细节;更详细的可视化见 Figure 8。)
潜在帧注入:引入新的模态
将额外模态编码为新的潜在帧,并直接注入视频模型的潜在扩散序列中。
假设原始潜在帧序列的大小为
(1+T′)×H′×W′×16,
其中的潜在帧原本对应视频中的图像。在已有图像潜在帧之间插入新的潜在帧,从而交错组织机器人状态、动作块、状态价值以及其他相机视角的图像。
对于多个相机视角,只需像图 2 顶行所示,在图像序列层面插入额外相机拍摄的图像,随后对模型进行微调,使其能够处理这些新增视角。
假设某机器人平台配备两个固定的第三人称相机和一个腕部相机,其潜在序列包含 11 个潜在帧:
- 空白占位符 ∗
- 机器人本体感知信息,例如末端执行器位姿或关节角度
- 腕部相机图像
- 第一个第三人称相机图像
- 第二个第三人称相机图像
- 动作块
- 未来的机器人本体感知信息
- 未来的腕部相机图像
- 未来的第一个第三人称相机图像
- 未来的第二个第三人称相机图像
- 未来的状态价值
其中,第 2、6、7 和 11 项表示新增模态,第 3、5、8 和 10 项表示新增的相机视角。这里假设第一个第三人称相机是“主相机”。 可以把它写成:
[∗,st,Itwrist,Itthird-1,Itthird-2,at:t+K−1,st+K,It+Kwrist,It+Kthird-1,It+Kthird-2,V(st+K)].
其中:
- st:当前机器人状态
- at:t+K−1:一段动作块
- st+K:执行动作块之后的未来状态
- I:相机图像
- V(st+K):未来状态的价值
- ∗:空白占位帧
为了将新增模态编码为潜在帧,我们用归一化并复制后的机器人本体感知信息、动作块或价值,填充每个大小为
H′×W′×C′
的潜在体。这里的归一化仅包括将数值重新缩放到区间 [−1,+1]。
如图 2 所示,这种模态排列对应于
(s,a,s′,V(s′)),
并允许模型从左到右自回归地解码动作、未来状态和未来状态价值。
需要注意的是,s 和 s′ 分别只包含时间 t 和时间 t+K 的观测,其中 K 是动作块的长度。换句话说,我们既不使用输入历史,也不预测跨越多个后续时间步的未来帧。
潜在帧注入具有较强的灵活性,可以根据具体的机器人配置进行调整。 如果只有一台第三人称相机,序列可以简化为:
[∗,st,It,at:t+K−1,st+K,It+K,V(st+K)].
如果有三台相机,则只是在相应的“当前图像组”和“未来图像组”中增加相机潜在帧
空白占位符 ∗是由 VAE 的时间压缩方案导致的必要实现细节。该方案将时间维度压缩为 (1+T/4),在 Cosmos-Predict2 和 Wan2.1 等模型中被广泛使用。
策略、世界模型与价值函数的联合训练
联合训练目标的实现
在每个训练步骤中,我们采样一批
(s,a,s′,V(s′))
元组。其中,批次的 50% 来自示范数据集,用于训练策略
p(a,s′,V(s′)∣s).
另外 50% 来自执行轨迹数据集,并进一步平均分成两部分。一半用于训练世界模型
p(s′,V(s′)∣s,a),
另一半用于训练价值函数
p(V(s′)∣s,a,s′).
条件方案,也就是潜在扩散序列中哪些部分被用作条件、哪些部分被用作生成目标,决定了当前训练的是上述三个函数中的哪一个。
在训练初期,执行轨迹数据集实际上是示范数据集的超集,其中还包括失败示范,如果数据中存在失败示范的话。 失败示范是指由于数据采集过程中的人为错误,导致示范轨迹在环境中重放时未能成功完成任务。
需要注意的是,策略和世界模型的训练都包含辅助目标。具体而言,策略学习的并非仅仅是
p(a∣s),
而是联合建模
p(a,s′,V(s′)∣s).
同样,世界模型学习的也并非仅仅是
p(s′∣s,a),
而是联合建模
p(s′,V(s′)∣s,a).
辅助监督能够提高策略性能。
此外,在 Cosmos Policy 的初始训练过程中,V(s′) 的预测以完整的潜在前缀为条件,也就是以全部的
(s,a,s′)
作为条件。然而,之后如果要在策略执行轨迹数据上进一步微调基础检查点,以得到更加准确的未来状态和价值预测,我们可以通过输入掩码,让价值生成仅依赖 (s,a,s′) 的一个子集。
输入掩码的选择决定了价值函数表示的是状态价值
V(s′)
还是状态—动作价值
Q(s,a).
我们在规划实验中比较了这些不同设置,具体见第 5.3 节。
并行解码与自回归解码
由于 Cosmos Policy 在不同的训练样本上,既学习联合预测目标 (a,s′,V(s′)),也学习在给定条件下预测这些目标,因此它可以采用两种方式生成动作、未来状态和价值。
第一种方式是并行生成。该方式速度更快。第二种方式是从左到右进行自回归生成。该方式可能产生质量更高的预测,并且允许为策略、世界模型和价值函数分别使用不同的检查点。
在不进行规划的直接策略评估中,执行任务只需要动作输出,未来状态和价值这两个输出可以被丢弃。因此,在这种情况下,我们采用并行解码。
在包含规划的评估中,为了获得质量更高的未来状态和价值预测,我们启用自回归解码。
† 严格来说,我们采样的是经验回报
Gt=γH−tR(sH,aH),
但为简化符号并提高可读性,本文将其记作 V(s′)。 经验回报 Gt 是一次实际执行的结果,各部分的含义是
- R(sH,aH) 是任务结束时实际得到的奖励。例如成功为 1,失败为 0。
- H−t 是从当前时间步到任务结束还相隔多少步。
- γ 是折扣因子,通常取 0<γ≤1,用于降低较远未来奖励的权重。

使用 Cosmos Policy 的世界模型与价值函数进行规划
Cosmos Policy 可以以两种方式部署。 第一种方式是将其作为不进行规划的直接策略。第二种方式是利用未来状态和价值预测搜索质量更高的动作。
仅使用示范数据进行训练并不足以支持有效的规划,因为示范数据只覆盖成功结果。在面对该分布之外的情况时可能难以泛化。收集策略执行轨迹数据并从这些经验中学习至关重要。
从执行轨迹经验中学习
在不同的初始条件下部署 Cosmos Policy,收集执行轨迹数据,并记录完整轨迹以及每个回合的结果,例如成功、失败或分数比例。
得到执行轨迹数据集后,我们对 Cosmos Policy 的检查点进行微调,并提高世界模型和价值函数预测的训练权重。每个训练批次中,90% 的数据在世界模型和价值函数之间平均分配,只有 10% 的数据用于训练策略。
得到用于改进世界模型和策略学习的微调检查点后,我们提出双模型部署方案。
原始的 Cosmos Policy 检查点作为策略使用,因此称为“策略模型”。经过微调的检查点作为世界模型和价值函数使用,因此称为“规划模型”。
这种设计能够确保经过改进的世界模型和价值函数是在原始策略收集的在策略数据上训练得到的。
基于模型的规划
给定策略模型和规划模型,我们通过以下步骤执行 best-of-N 采样:
- 从策略模型中采样多个候选动作。
- 使用规划模型为每个候选动作预测未来状态和价值。
- 选择并执行能够产生最高预测价值状态的动作。
为了提高预测准确性,并更好地建模可能具有多峰性的未来状态和价值分布,对预测结果进行集成。
对于每个候选动作,使用世界模型查询三次。对于每个预测得到的未来状态,使用价值函数查询五次。因此,每个候选动作总共得到 15 个价值预测。
通过“多数均值”方法聚合这些预测。首先,根据一个固定阈值,判断多数预测认为该动作会成功还是失败。随后,只在属于多数类别的预测中计算平均价值。
当价值预测呈现双峰分布或具有较高方差时,这种方法比直接取平均值更加稳健,因为它不容易受到离群预测的影响。
为了加快搜索过程,我们采用并行推理,并在 best-of-N 采样中使用 N 个 GPU。
此外,我们会执行完整的动作块,而不是像滚动时域控制那样只执行动作块的一部分。这样可以避免进一步增加计算成本。
‡ 某些示范数据集,包括 LIBERO 仿真基准的训练集,包含一些次优行为。这些行为在训练环境中重放时可能无法成功完成任务,原因是遥操作过程中存在人为错误。
实验
实验目的
实验主要围绕四个问题展开。
- 预训练视频模型经过微调后,能否成为性能较强的机器人策略?
- 视频预训练先验、未来状态与价值的联合学习,分别带来多少收益?
- 能否利用策略执行经验改进世界模型和价值函数,进一步通过规划提升表现?
- 显式预测未来状态再评估价值,与直接预测 Q(s,a) 相比,哪种动作选择方式更有效?
实验设置
| 环境 | 任务与设置 | 主要验证能力 |
|---|---|---|
| LIBERO 仿真 | 四组单臂操作任务,涵盖空间布局、物体、目标和长时序任务,每组 500 条示范 | 多任务操作与长时序控制 |
| RoboCasa 仿真 | 24 项厨房操作任务,每项仅使用 50 条人工示范,测试包含未见物体和场景风格 | 数据效率与分布外泛化 |
| 真实 ALOHA 双臂机器人 | 按指令放置物体、叠衣服、收集糖果、将糖果放入密封袋 | 语言跟随、长时序操作、多峰动作分布与高精度控制 |
对比方法涵盖从头训练的扩散策略、基于视频的策略,以及微调后的 VLA,例如 Diffusion Policy、Video Policy、π₀.₅ 和 OpenVLA-OFT。
仿真主要报告成功率,真实机器人实验还使用任务完成度得分。真实实验让各方法使用相同的初始状态,覆盖分布内与分布外条件。
实验设计与结果
1. 不使用规划的策略性能
设计与原因
先直接执行 Cosmos Policy 生成的动作,不通过规划筛选候选动作,单独检验视频模型微调得到的策略本身是否有效。
结果
- LIBERO 平均成功率达到 98.5%,RoboCasa 达到 67.1%,均优于论文比较的方法。
- RoboCasa 每项任务仅使用 50 条人工示范,表现超过若干使用更多示范的方法,体现出较好的数据效率。
- 在真实 ALOHA 任务中获得最高的总体平均得分,四项任务中有三项表现最好。优势尤其体现在糖果抓取和密封袋操作等多峰、高精度任务上。
结论
预训练视频模型能够为机器人控制提供有效初始化,经过单阶段微调即可获得较强的直接策略。
2. 视频预训练与联合预测的消融
设计与原因
分别移除预训练初始化、辅助预测目标,并在附录中逐步取消世界模型、价值函数训练及未来状态预测,判断性能提升来自哪些组成部分。消融使用相同的训练步数或计算配置。
| 消融设置 | 主要结果 |
|---|---|
| LIBERO 去掉辅助预测损失 | 成功率由 98.5% 降至 97.0% |
| LIBERO 从随机初始化训练 | 成功率降至 94.6% |
| 真实叠衣服任务从头训练 | 完成度得分降低 18.7 分,动作也更不平滑 |
| RoboCasa 逐步取消联合训练与辅助预测,最终只预测动作 | 成功率由 67.1% 降至 44.4% |
在 RoboCasa 的逐步消融中,最后移除未来状态预测时,成功率从 62.5% 降至 44.4%,是最大的一次下降。
结论
视频预训练和联合学习都有贡献。其中,让策略同时预测未来状态,对直接策略的性能尤其重要。该结果表明,未来预测除了服务规划,也能提供有益的辅助监督。
3. 利用执行经验改进世界模型并进行规划
设计与原因
选择收集糖果和密封袋操作两项更困难的真实任务,并使用更具挑战性的初始条件,为规划留下提升空间。
作者汇总了 648 条执行轨迹来微调规划模型,其中包含此前不同策略的评估轨迹,以及额外采集的 Cosmos Policy 轨迹。这样可以让模型接触示范之外的失败和偏差。原始策略继续提出动作,微调后的世界模型和价值函数负责预测、评价并筛选动作。
结果
- 基于模型的规划在两项任务中均优于直接策略,平均任务完成度得分提高 12.5 分。
- 微调后的世界模型能更准确地预测抓取滑脱等失败,使规划更容易避开导致失败的动作。
结论
仅靠成功示范学习到的未来预测,难以覆盖实际执行中的错误。加入执行经验后,世界模型和价值函数可以为动作筛选提供更有效的依据。
4. 基于世界模型的规划与直接 Q 值筛选
设计与原因
比较两种候选动作评价方式,检验显式预测未来状态的价值。
- 基于模型,先预测 s′,再用 V(s′) 评价。
- 无模型变体,直接根据当前状态与候选动作预测 Q(s,a)。
结果与结论
基于世界模型和 V(s′) 的方式取得更高的总体表现。作者认为,在执行数据有限时,利用环境动力学预测未来状态更有利于动作评价,而直接学习准确的 Q 函数更困难。这一解释属于作者对结果的分析。
5. 推理效率
减少扩散去噪步数可以明显加速。RoboCasa 使用单步去噪时,单个动作块的生成延迟从约 0.61 秒降至 0.16 秒,仍保持 66.4% 的成功率。
规划的计算成本明显更高。实验使用 8 张 H100 并行搜索 8 个候选动作,生成一次动作块仍需约 4.9 秒,对动态任务的适用性构成限制。
实验结论
Cosmos Policy 的收益体现在两个阶段。 在直接策略阶段,视频预训练与未来状态联合预测提高了动作学习效果。在规划阶段,实际执行经验改善了世界模型和价值预测,使候选动作筛选进一步提升任务完成度。
规划验证主要集中在两项困难的真实任务上,其收益需要结合额外执行数据和较高推理成本理解。
总结
本文提出了 Cosmos Policy,一种基于 Cosmos-Predict2 视频基础模型微调得到的先进机器人策略。
我们还表明,利用策略执行轨迹数据进一步完善世界模型和价值函数的预测,可以实现有效的基于模型的规划。
局限性
我们观察到,采用基于模型的规划时,推理速度明显下降,例如生成一个动作块大约需要 5 秒,这可能限制该方法在动态任务中的应用。如何加快搜索过程,是未来研究的一个重要方向。
此外,为了在示范数据分布之外获得准确预测,有效的规划需要较多的策略执行轨迹数据。如果能够利用更少的执行轨迹进行学习,将有助于降低该方法的使用门槛。
最后,本文采用的 best-of-N 规划仅在搜索树中进行一层搜索。延长世界模型的预测时域,并将规划扩展到更深的搜索层次,可能实现更有效的搜索。