PlayWorld: Learning Robot World Models from Autonomous Play

一句话总结

PlayWorld 通过机器人自主玩耍，采集包含多样接触事件和失败模式的交互数据，用于改善动作条件视频世界模型在接触密集型交互中的预测精度，减少偏向成功结果的幻觉。系统由 VLM 根据当前场景生成多样化任务，由 VLA 策略执行并记录交互，同时通过安全约束和场景重置支持持续采集。训练时，利用少量成功示范作为参考，自动组织由易到难的课程采样，以缓解数据冗余和长尾交互难以学习的问题。

其中最关键的因果关系是：扩大交互覆盖 → 减轻训练数据偏差 → 更准确地预测动作后果，包括失败。

摘要

关键问题：究竟需要什么样的数据，才能有效训练这些模型？ 现有模型通常使用人类采集的示范数据或面向特定任务的策略执行轨迹进行训练。我们认为，这类数据存在系统性偏差，且对交互动力学的覆盖不足，由此会导致模型产生幻觉。

提出 PlayWorld：一种通过 自主玩耍（autonomous play） 训练机器人世界模型的新数据范式。设计了一套可扩展的无监督数据采集流程，支持包括整夜运行在内的持续采集，能够广泛覆盖复杂、呈长尾分布的物理交互；这些交互对于建模真实的物体动力学至关重要。

PlayWorld 能够针对接触密集型交互生成高质量、符合物理规律的预测，而使用人类采集数据训练的世界模型无法准确捕捉这些交互。 能够支持细粒度的失败预测和策略评估，相比使用人类采集数据，性能最高提升 40%。 利用 PlayWorld 在世界模型中进行强化学习，使策略部署到真实世界后，成功率提升 65%。

PlayWorld 是首个证明 自主玩耍（autonomous play） 可作为视频世界模型有效训练范式的工作。

引言

图1 我们提出了 Play World，一个可扩展的框架，用于从自主机器人玩耍中训练高保真视频世界模型。该框架能够进行细粒度动力学预测，以实现准确的策略评估，并支持在线强化学习策略微调，从而显著提升真实世界中的成功率。

视频模型在机器人操作中的应用，大多仍局限于接触极少、主要关注高层语言指令遵循能力的任务 本文从以数据为中心的视角，研究如何训练用于机器人操作的高质量视频模型。 核心假设是：上述接触密集型动力学仿真难题，源于视频模型训练或微调时所使用的数据

应如何获得最有助于学习高质量世界模型的数据？从以数据为中心的角度出发，我们认为，合适的训练数据集需要满足两个条件： （i）通过有方向的探索生成，持续扩大对多样化接触事件的覆盖； （ii）支持高效扩展，使探索规模能够在尽量减少人工工程投入或监督的情况下自然增长。

我们提出这样一个问题：机器人能否通过自主玩耍，主动收集多样化的经验，用于训练高质量视频模型？ 通过在没有人工监督的情况下，以半结构化的方式与物体交互，自主玩耍数据能够： （i）广泛覆盖策略执行过程中可能发生的相关状态转移； （ii）在数据量以及物体和场景的多样性方面实现高度扩展。 这些优势使自主玩耍成为一种颇具吸引力的数据采集框架，可用于接触密集型世界建模。

主要贡献 提出 PlayWorld，一种基于自主玩耍、简单且可扩展的机器人世界模型训练数据范式，并证明：对丰富交互的广泛覆盖，是学习准确、无幻觉动力学的关键因素。

基于这一框架，我们作出以下贡献：

1. 通过细致的实证分析，我们表明，PlayWorld 能够显著扩大对交互动力学的覆盖范围。与人类采集的数据相比，它能够产生明显更加多样的接触事件、物体状态和失败模式。
2. 通过将人工干预减少到偶尔的监控和场景重置，我们证明 PlayWorld 能够实现高度可扩展的数据采集，包括完全无人监督的整夜运行。
3. 在一系列操作任务中，我们表明，PlayWorld 能够以细粒度的预测精度模拟真实的物理交互，在感知质量指标上取得显著提升，并且其性能能够随着数据规模扩大而持续提高。即使数据规模超过人类示范数据使性能趋于饱和时所对应规模的 5 倍，这种提升仍在继续。
4. 我们证明，PlayWorld 能够有效支持后训练应用，包括与真实世界表现高度相关的细粒度策略评估，以及闭环强化学习微调。后者相较于预训练策略，可使真实世界任务成功率最高提升 65%。

据我们所知，PlayWorld 是首个确立机器人自主玩耍数据在训练动作条件视频模型方面具有实用性与优势的工作。

PlayWorld：利用机器人玩耍训练视频世界模型

PlayWorld，这是一个用于训练动作条件视频模型的框架，能够以细粒度的精度预测多样化的接触动力学。

图2 PlayWorld 系统图。左：自主数据采集流水线，其中视觉语言模型（VLM）和视觉-语言-动作模型（VLA）迭代式地提出并执行任务。右：视频世界模型骨干网络，以及用于策略评估和微调的设置。

通过玩耍学习可泛化的动力学

令 $s_t\in\mathcal S$ 表示机器人的本体感知状态，$a_t\in\mathcal A$ 表示动作，$o_t=(o_t^1,\ldots,o_t^K)\in\mathcal O$ 表示时刻 $t$ 来自 $K$ 个不同视角的图像观测，例如多个俯视相机和一个腕部相机。我们使用一个随机的动作条件视频模型，对机器人与环境之间的动力学进行建模：

$$p_\theta(x_{t+1}\mid x_{1:t},a_{1:t}), \tag{1}$$

其中，$x_t=(s_t,o_t)$。

既有工作在人类示范数据上训练此类模型，因此只优化专家所诱导的访问分布下的预测精度，即：

$$(x_{1:t},a_{1:t},x_{t+1})\sim\mathbb D_{\mathrm{exp}}.$$

因此，当使用新的策略查询模型时，所学到的动力学可能受到分布偏差的影响，退化为倾向于预测 $\mathbb D_{\mathrm{exp}}$ 中高概率出现的结果。我们的目标则是训练一个在广泛策略下都能保持准确的视频模型。

利用语言条件策略 $\pi_{\mathrm{play}}(a\mid x,\ell)$ 采集数据，扩大训练数据的访问分布，其中，$\ell\in\mathcal L$ 表示自然语言指令。在自主执行过程中遇到的广泛初始条件下，通过生成高度多样化的语言指令，该策略产生如下数据集：

$$\mathcal D_{\mathrm{play}} = \left\{(x_t,a_t,x_{t+1})\right\}_{ a_t\sim\pi(\cdot\mid x_t,\ell),\, \ell\sim p(\mathcal L) }. \tag{2}$$

这一数据集能够更好地近似多种策略所诱导的访问分布。

机器人自主玩耍数据采集

为获得有用且可扩展的玩耍数据，我们提出三项关键设计要求：

1. 机器人需要与场景中的物体开展多样化交互，从而随着数据采集规模扩大，获得有意义的覆盖。
2. 在没有人工监督的情况下，系统必须能够可靠地预防潜在故障，并从故障中恢复。
3. 系统应能适应多种物体，并泛化到多样化的语言指令 $\ell$，而无需人工进行专门的工程设计。

如图 2 所示，我们的系统由两个相互配合的组件构成：任务提议器，负责生成任务，引导机器人与物体进行有意义的交互；以及任务执行器，负责执行任务，生成交互数据。

任务提议器

我们使用视觉语言模型（VLM）实现任务提议器，根据机器人当前的图像观测 $o_t$，生成多样化且以当前场景为依据的指令。在每个回合开始时，我们提示 VLM 生成一条自然语言指令 $\ell$，例如“将物体向前推”或“把物体堆叠起来”。

为在保持指令可执行性的同时提高数据多样性，我们提示 VLM 对常规指令施加小幅扰动，例如替换动词或物体描述，以探索不同的行为模式。 通过改变任务意图来产生具有语义依据的多样性，而非注入动作噪声，从而得到更贴近测试时策略行为的访问分布。

任务执行器

使用视觉语言动作（VLA）策略作为执行器，它能够以任意自然语言指令为条件执行动作。

虽然它能够成功执行常规指令，例如“拿起物体”，但指令中的小幅扰动，例如动词选择的变化或不熟悉的物体描述，往往会导致策略行为出现较大差异 将这一特性作为多样性的来源：在长时间跨度的自主执行过程中，物体会自然呈现不同的初始位姿，我们在这些条件下有意随机化指令，增加接触动力学模式的多样性，从而采集交互丰富的数据。

安全过滤与重置

为实现长时间、可靠的无监督执行，我们使用轻量级安全过滤器，将机器人的活动约束在较为保守的工作空间范围内。 对各关节施加限制，以防止剧烈运动；同时，提示 VLM 检测是否有物体正在逐渐移向机器人可达范围的边界,一旦出现这种情况，便指示 VLA 将该物体移回可达工作空间，以“重置”场景。

由于该系统不依赖特定任务或物体，当玩耍数据采集涉及大量物体时，可以在采集过程中直接添加或移除任意物体。这种简单的设计在实践中运行良好，使我们能够进行包括整夜运行在内的长时间数据采集。

模型架构与训练

视频模型架构

给定数据集 $\mathcal D_{\mathrm{play}}$，我们的目标是训练一个能够生成高保真视觉输出、模拟与环境细粒度交互的世界模型。

采用预训练的 Stable Video Diffusion（SVD）骨干网络，其空间注意力和时间注意力采用分解式设计,使我们能够注入细粒度的逐帧动作条件，将运动信号与帧的视觉外观解耦，从而获得较强的可控性。

训练模型联合预测三个相机视角，以尽量减小部分可观测性的影响，并使用在 DROID 数据集上预训练的权重初始化模型。随后，在玩耍数据集 $\mathcal D_{\mathrm{play}}$ 上微调世界模型，采用如下扩散损失函数：

$$L_\epsilon = \mathbb E_{x_0,t,\epsilon} \left[ \left\| \epsilon-\epsilon_\theta(x_t,t) \right\|^2 \right], \tag{3}$$

其中，$\epsilon\sim\mathcal N(0,I)$。

课程学习

随着玩耍数据采集规模扩大，数据对多样化状态和状态转移的覆盖不断增加，但所得数据集也带来了两个挑战：

1. 高度冗余：绝大多数数据由非常相似的状态转移主导。
2. 多模态性：数据中还存在许多很少出现、但具有高度多样性的状态转移，即长尾现象。 这种不均衡的长尾分布使标准训练流程难以有效学习：模型容易对简单模式过拟合，却无法捕捉罕见交互。

为使模型更均衡地接触不同数据，我们采用课程学习方案,按照自动评定的“难度”顺序向模型提供训练数据：从经常出现的自由空间运动和静态接触开始，逐渐使采样偏向罕见且更难学习的交互。

具体而言，假设拥有一小组人类采集的示范数据：

$$\mathcal D_{\mathrm{exp}} = \{\tau_i\}_{i=1}^{N_s},$$

其中，每条轨迹

$$\tau=\{(x_t,a_t)\}_{t=1}^{T}$$

对应一次成功的任务执行。令

$$\mathcal D_{\mathrm{play}} = \{\tilde{\tau}_j\}_{j=1}^{N_p}$$

表示按照第 3.2 节流程采集的、未经筛选整理且未标注的玩耍数据。令 $f_{\mathrm{clip}}(\cdot)$ 表示一个参数冻结的 CLIP 图像编码器。对于每个观测 $o_t$，计算其嵌入：

$$z_t=f_{\mathrm{clip}}(o_t)\in\mathbb R^d. \tag{4}$$

首先，利用成功轨迹中的所有嵌入

$$\mathcal Z_{\mathrm{succ}} = \{z_t\mid o_t\in\mathcal D_{\mathrm{succ}}\},$$

从 $\mathcal D_{\mathrm{exp}}$ 中提取一组具有代表性的成功质心。随后，使用 $K$-means 聚类得到质心集合：

$$\mathcal C=\{c_k\}_{k=1}^{K}, \qquad c_k\in\mathbb R^d.$$

这些质心作为成功执行过程中所观察到的、与任务相关的状态转移的原型。对于 $\mathcal D_{\mathrm{play}}$ 中的每个观测 $o$，我们将其到成功的距离分数定义为：

$$d(o) = \min_{c_k\in\mathcal C} \left\| f_{\mathrm{clip}}(o)-c_k \right\|_2. \tag{5}$$

直观而言，较小的 $d(o)$ 表明相应状态转移在视觉和语义上更接近成功轨迹；较大的值则对应与任务关联较弱或更具探索性的交互。 随后，我们依据这一距离，将 $\mathcal D_{\mathrm{play}}$ 划分为 $R$ 个互不重叠的等级，从而构建学习课程：

$$\mathcal D_{\mathrm{play}} = \bigcup_{r=1}^{R}\mathcal D^{(r)}, \qquad \mathcal D^{(r)} = \left\{ o\mid d(o)\in[\delta_{r-1},\delta_r) \right\}, \tag{6}$$

其中，$\{\delta_r\}_{r=0}^{R}$ 为距离阈值，并设定：

$$\delta_0=0, \qquad \delta_R=+\infty.$$

较低等级对应更接近成功轨迹的样本，较高等级则包含越来越偏离该分布的交互。在训练过程中，我们逐步扩大不同等级上的采样分布：从较小的 $r$ 开始，逐渐纳入更高等级的样本。 这一课程学习方案能够缓解自由空间运动数据的冗余，并减轻关键交互动力学长尾分布带来的影响，使模型能够更有效地学习罕见但至关重要的状态转移。

实验

实验部分的核心，是验证这条逻辑链：自主玩耍扩大交互覆盖 → 改善接触动力学预测 → 支持可靠的策略评估与策略改进。 因此，作者既比较了视频预测质量，也检验了世界模型能否在实际机器人应用中发挥作用。

实验目的

作者围绕以下问题组织实验，形成从数据到下游应用的验证链条：

1. 自主玩耍是否能够获得比人类采集数据更广泛的交互覆盖？
2. 更广泛的覆盖是否能转化为更准确的接触动力学预测？
3. 这样的世界模型能否准确评估不同策略的真实表现？
4. 能否直接在世界模型内进行强化学习，并将收益迁移到真实机器人？
5. 随着数据量和物体多样性增加，性能是否能够继续提升？

这些实验分别验证了 PlayWorld 的数据价值、建模能力、应用价值和可扩展性。

实验设置

任务与环境。 实验在真实机器人操作平台上开展，主要包含三类场景：

场景	代表任务	主要检验的交互
容器与多个物体	将物体放入或移出碗	抓取、释放、滑脱及容器接触
积木	堆叠与拆开	碰撞、滑动及放置稳定性
毛巾	折叠与展开	可变形物体的接触与形变

选择这些场景，可以同时覆盖刚体操作和可变形物体操作，以及多种对细微动作误差敏感的接触过程。

对比数据。 作者主要比较三种数据来源：

数据	采集方式	设置这一对比的作用
Human Demo	人类遥操作完成特定任务的专家示范	对应常见的成功示范训练范式
Human Play	人类遥操作，自由与物体交互	检验放宽任务约束、增加探索是否足够
Robot Play	机器人自主玩耍	检验自主采集的交互是否更适合训练世界模型

所有世界模型从相同的 DROID 预训练检查点初始化。实验既包含 6 小时数据的同量比较，也包含将机器人玩耍数据扩展到 30 小时后的比较。因此，可以区分数据来源的影响和数据规模的影响。

评估分为两个层次：

• 给定动作的预测： 输入真实轨迹的初始观测和后续真实动作，检查模型预测是否符合实际发生的结果。
• 策略闭环评估： 策略根据模型生成的观测继续选择动作，检查模型中的完整执行结果是否符合真实机器人表现。

前者检验动作引起的状态变化，后者进一步检验预测误差累积后，模型是否仍然可靠。

实验设计与结果

数据覆盖：自主玩耍是否产生了更多样的交互？

图4 训练样本的 t-SNE 分析。与人类采集的轨迹相比，机器人自主玩耍数据具有明显更广的行为覆盖范围。颜色表示由人工标注者分配的粗粒度交互模式。

设计与原因。 作者对三类数据的图像观测提取 CLIP 特征，再使用 t-SNE 展示其分布，并由人工查看对应视频，为部分样本标注可解释的交互类型。

这一实验直接检查方法的出发点：自主玩耍是否确实改变了数据覆盖，而不仅仅是增加了采集时长。

结果。 自主玩耍覆盖的区域更广，包含更多抓取失败、碰撞、滑脱等接触事件；人类采集的数据则更加集中，尤其是专家示范，主要沿着成功执行路径分布。附录在多个物体组和不同数据规模下观察到了类似现象。

结论。 自主玩耍能够补充成功示范中不足的失败状态和非典型交互，为学习更完整的动力学提供数据基础。

这里的 t-SNE 主要提供可视化证据，不能单独证明动力学已经学得更好，因此还需要下面的预测实验。

动力学预测：覆盖更广，是否真的预测得更准？

图5 PlayWorld 能忠实捕捉细粒度动态行为。其预测与真实世界中的细粒度动态交互模式紧密匹配，例如漏抓、碰撞、形变和滑动。

设计与原因。 作者构建了一个以交互事件为中心的测试集，从二十余种策略的真实执行轨迹中选取五百余个片段，覆盖成功、抓空、滑动、滑脱、形变和碰撞六类情况。

给定相同的初始观测和真实动作序列，让不同世界模型预测未来，再与真实视频比较。

这种设计尤其关注失败和动态接触。只测试成功轨迹，容易让模型依靠训练数据中的成功模式生成合理视频，却无法检验它是否真正理解动作的后果。

结果。

• 在成功交互上，不同数据训练出的模型表现较接近。
• 在失败及复杂接触事件上，PlayWorld 的预测总体更准确。
• 将玩耍数据从 6 小时增加到 30 小时，预测质量进一步提高。
• 在相同训练数据下，课程学习整体上进一步改善了动态交互预测，但并非每项指标都最优。

定性结果揭示了基线的典型问题：“幻觉式成功”。例如，真实机器人没有抓住物体，模型却生成物体被成功拿起的画面。

结论。 自主玩耍的主要价值体现在模型对失败、扰动及复杂接触后果的预测上。对于世界模型，这些能力决定了它能否准确区分不同动作的后果。

课程学习的结果还说明：丰富交互数据存在冗余和长尾问题，合理安排采样顺序，有助于模型利用其中罕见但关键的事件。

策略评估：世界模型能否判断不同策略的真实表现？

设计与原因。 作者构建了 18 种策略，包含从头训练的 Diffusion Policy 和经过微调的 $\pi_0$，并通过改变示范数量与质量，使策略具有不同的成功率和失败模式。

随后，分别在真实机器人和世界模型中闭环运行这些策略，比较：

• 模拟成功率是否与真实成功率一致；
• 模拟中的失败类型分布是否与真实情况一致。

这一实验比视频预测更严格：策略会持续响应模型生成的观测，微小预测误差可能改变后续动作，并最终改变任务结果。

结果。 PlayWorld 对真实成功率的预测明显更准确：

世界模型训练数据	模拟与真实成功率的 Pearson 相关系数
Human Demo	0.664
Human Play	0.662
PlayWorld	0.877

PlayWorld 预测的失败类型分布也更接近真实结果。虽然训练数据来自一个自主玩耍策略，它仍能用于评估行为差异较大的其他策略。

值得注意的是，Human Play 在这一评估中表现最差。作者认为，部分人类自由交互与待评估机器人策略的行为分布不匹配，可能降低模型的实用性。

结论。 PlayWorld 的收益能够从视频指标延伸到策略评估：它更有能力区分策略的真实表现，并预测策略如何失败。

这一结果同时提示：有用的多样性需要覆盖目标策略可能遇到的状态与交互。

模型内强化学习：在模型中学到的改进能否迁移到现实？

设计与原因。 作者从少量示范训练出的基础扩散策略出发，在世界模型内进行强化学习，然后将策略部署到真实机器人，测试“从碗中取出胡萝卜”和“折叠毛巾”两个任务。

微调采用 DSRL：冻结基础扩散策略，学习一个轻量级策略来调整扩散初始噪声，从而引导最终动作。奖励由少量示范训练出的任务进度模型提供。

这一实验检验世界模型最直接的应用价值：能否通过模型内交互改进策略，并获得真实收益。

结果。

• 在 PlayWorld 内微调后，真实机器人成功率显著提高。
• 策略在部分未见初始状态下表现更稳健，并出现更准确的抓取和恢复行为。
• 在示范数据训练的基线世界模型中，改进较小，训练也更容易出现不稳定。

结论。 PlayWorld 的动力学精度已经能够支持具有真实迁移收益的模型内强化学习。不过，策略仍可能利用模型误差获得虚假的高奖励，或在长时间微调后过拟合模型。

因此，这项实验支持“世界模型可以有效帮助策略改进”，同时也表明需要关注训练停止时机和模型误差。

数据扩展：更多数据是否持续有效？

设计与原因。 逐步增加不同来源的训练数据量，比较预测质量随规模变化的趋势。

这一实验检验自主玩耍的可扩展性是否有实际价值：如果新增数据只是重复已有成功轨迹，增加采集量可能很快失去收益。

结果。 在已测试范围内，PlayWorld 随数据增加到 30 小时仍持续改善；人类采集数据在较小规模后收益趋缓。

作者将这一差异解释为：自主玩耍不断引入新的接触事件、失败模式和状态转移，而成功示范更容易重复覆盖较窄的分布。

结论。 数据扩展的收益与覆盖范围密切相关。PlayWorld 展示了较好的扩展趋势，但证据限于论文测试的规模，尚不能据此断言在任意更大规模下都能持续提升。

物体泛化：能否将学到的交互规律用于未见物体？

设计与原因。 逐步增加训练物体的多样性，并在未参与训练的水果类物体和积木上测试预测质量。

这一实验检查模型是否学习到可迁移的交互规律，以及扩大物体种类能否带来泛化收益。

结果。 随着训练物体更加多样，模型在两类未见物体上的预测总体改善，即使测试物体的外观和几何形状发生变化。

结论。 结果支持模型能够利用跨物体共享的接触与运动模式进行泛化。但验证范围仍主要是相近类别中的未见物体，跨机器人、跨环境的广泛迁移尚未得到验证。

总结

提出了 PlayWorld：一套高效、自主且可扩展的流程，利用交互丰富的机器人玩耍数据，训练高保真的动作条件视频世界模型。

通过自主采集大量多样化经验，包括无人值守的整夜运行，PlayWorld 相较于以成功执行为主的示范数据，能够更广泛地覆盖接触事件，并提供更丰富的学习信号。由此训练的视频世界模型，在常规和非常规交互中都能较准确地还原动力学，从而支持可靠的细粒度策略评估和模型内强化学习微调。

最后，我们观察到，随着数据规模和物体多样性增加，模型性能仍持续提升。这为构建高质量机器人仿真器提供了一条切实可行的路径，使策略评估与改进能够突破真实硬件条件的限制。

局限性

改进数据采集。 尽管 PlayWorld 能够大规模生成多样化交互数据，但当前采集策略并未显式优化样本效率，可能产生冗余轨迹。 未来可以探索更好的主动数据采集策略，优先采集不确定性较高或覆盖不足的交互，从而进一步减少幻觉、提高物理一致性。此外，当前系统依赖于一个能力足够强的玩耍策略。设计专门针对罕见接触事件的策略，或能够自适应调整的玩耍策略，有望进一步提升覆盖范围和采集效率。

动力学差异。 尽管取得了显著改进，PlayWorld 仍未完全消除幻觉。预测误差仍可能来自开环轨迹生成中的偏差、固定的动作时间范围，以及数据采集与策略评估所使用控制模式之间的不匹配。这些误差可能在长时间执行中累积，降低闭环运行的稳定性。 未来可以研究更灵活的预测时间范围、分层或滚动时域的轨迹生成方式，以及动作条件与控制表示之间更紧密的结合，使模型想象的动力学更好地符合真实世界的执行过程。

扩大规模。 虽然我们在当前实验设置中展示了良好的规模扩展趋势，但将 PlayWorld 推广到受控实验室环境之外，仍然是一个尚未解决的挑战。 要扩展到更加多样的物体、场景、机器人本体和真实应用环境，就需要改进学习策略，以应对异构程度不断增加的数据分布。随着数据规模扩大，更好的课程设计和数据平衡机制将变得更加重要。如何以有原则的方法自动构建学习课程，同时优化预测保真度与对长尾交互的鲁棒性，仍是未来工作的关键方向。 高效利用大规模、多机器人数据集，以及引入非机器人视频数据来获得更广泛的物理先验，也提供了值得探索的机会。

总体而言，我们认为，PlayWorld 展示了扩大自主玩耍数据规模的潜力：这类数据可用于训练高保真世界模型，使其成为支持策略评估和强化学习的通用仿真器。

贡献者: Aliveriver

上一页慵懒的一天

下一页Contact-Grounded Policy: Dexterous Visuotactile Policy with Generative Contact Grounding