PhysiCalWorld: IN-CONTEXT PHYSICS CALIBRATION FOR WORLD MODELS

约 5636 字大约 19 分钟

2026-10-23

PhysiCalWorld: IN-CONTEXT PHYSICS CALIBRATION FOR WORLD MODELS

一句话总结

PhysiCalWorld 在测试场景中采集少量探索性交互，将“观测—动作”序列编码为一个物理描述符 token，并将其作为世界模型的额外条件，使未来预测符合该场景的实际动力学，从而改善预测准确性和规划成功率。只要场景的物理配置保持不变，描述符就只需提取一次，并可缓存、跨轨迹复用，后续额外开销很小。训练时，数据按物理配置分组：从同一组中采样交互提示和待预测序列，通过未来潜在表示的预测损失，联合训练描述符编码器和世界模型预测器，使描述符学会提取对预测有用的物理信息，无须真实物理参数标签。

摘要

现有世界模型通常通过当前视觉帧或一个较短的历史窗口来感知场景，这些观测未必能够揭示决定状态转移动态的物理属性，例如物体的质量分布、关节阻尼或表面摩擦。如果不针对这些物理因素对世界模型进行校准，模型的预测往往会趋向经验先验，并在新的测试场景中产生严重偏移。

提出了 PhysiCalWorld，通过上下文提示，使以动作为条件的世界模型适应具体实例的动力学特性，无须微调，也无须建立解析物理模型。将测试场景中采集的一段探索性交互片段编码为一个紧凑的物理描述符 token，使后续预测以场景的实际物理行为为依据。

PhysiCalWorld 仅使用潜在空间预测损失进行端到端训练，无须物理属性标签。在推理阶段，描述符 token 只需提取一次，便可在多次轨迹推演中重复使用，额外计算开销几乎可以忽略不计。

项目见主页

引言

现有世界模型通常根据当前帧或一段较短的视觉历史生成预测。然而，这类观测可能无法充分约束底层物理属性，迫使世界模型在多个可能的未来状态中进行猜测。

消除这种物理歧义的一种自然方式，是与场景进行实际的物理交互，从而推断其隐藏属性提出了 PhysiCalWorld，一种面向世界模型的上下文物理校准方法,将测试环境中采集的一系列“观测—动作”对作为提示输入世界模型，以完成物理校准。这里的测试环境，是指物理配置未知的环境。

图1：面向世界模型的上下文物理校准。在转移动力学未知的测试环境中，具身智能体首先执行探索性动作，以采集一段上下文交互序列。随后，该序列被作为提示提供给世界模型进行校准，使未来预测遵循测试环境的实际动力学。

上下文提示方法，既省去了为系统辨识而人工构建解析物理仿真器的工作，也避免了成本高昂的模型微调。该方法只需要一段探索性交互片段，无须执行任何梯度下降步骤。

PhysiCalWorld 将交互序列压缩为一个紧凑的物理描述符 token，并将其作为世界模型的条件输入。整个系统仅通过视频预测目标进行端到端训练，既不需要真实物理参数，也不需要仿真器。

贡献主要有以下三个方面：

上下文物理校准：我们将生成式世界模型的物理校准表述为一个上下文条件化问题：给定一段简短的交互序列，模型即可零样本地适应具体实例的动力学特性，无须在测试时更新权重。
仅通过视频学习物理描述符：我们引入了物理描述符 token，使世界模型能够以隐藏的物理属性为依据进行预测。该描述符仅通过视频预测进行端到端学习，既不需要真实物理参数，也不需要仿真器。
性能与分析：在四个包含单一物理属性变化及多种物理属性耦合变化的环境中，PhysiCalWorld 在两种世界模型骨干架构上均持续提升了轨迹推演准确性和规划成功率。其单 token 描述符仅需较低的计算成本，就能达到或超过直接使用原始上下文作为条件输入的效果。在没有物理标签的情况下，这些描述符仍形成了具有物理结构的潜在空间，并能够外推到训练参数范围之外。

方法

考虑一个在离散时间步 $t$ 与环境交互的具身智能体。在每个时间步，智能体接收高维视觉观测 $o_t\in\mathcal{O}\subset\mathbb{R}^{H\times W\times3}$ （以及可选的本体感知状态 $p_t\in\mathbb{R}^{d_p}$ ），并执行控制动作 $a_t\in\mathcal{A}\subset\mathbb{R}^{d_a}$ 。

目标是学习一个以动作为条件的世界模型，使其能够直接在紧凑的潜在空间中预测未来观测，并支持长时域轨迹推演和视觉规划。

潜在空间世界模型

上下文提示框架是一个即插即用的模块，适用于不同的世界模型架构。

以近期提出的两个潜在空间世界模型——DINO-WM 和 LeWM ——为基础实现该方法。

每个输入 RGB 帧 $o_t$ 都由视觉编码器 $E_v$ 编码为一组视觉 token $z_t$ ：

z_t=E_v(o_t)\in\mathbb{R}^{N_z\times d_z}, \tag{1}

其中， $N_z$ 表示每帧的视觉 token 数量， $d_z$ 表示特征维度。同时，通过一个可学习的多层感知机 $E_a$ ，将动作 $a_t$ 映射为动作嵌入 $e_{a_t}\in\mathbb{R}^{d'_a}$ ：

e_{a_t}=E_a(a_t). \tag{2}

潜在动力学预测器 $f_\theta$ 是一个参数为 $\theta$ 的因果 Transformer，用于对长度为 $K$ 个时间步的历史窗口中的时序转移进行建模。在时间步 $t$ ，预测器接收过去的视觉 token 和动作嵌入序列，以预测下一时刻的潜在 token：

\hat z_{t+1} = f_\theta\left( \{z_i,e_{a_i}\}_{i=t-K+1}^{t} \right). \tag{3}

为了进行视觉评估和像素空间中的轨迹推演，我们训练了一个轻量级卷积解码器 $D_v$ ，用于从潜在 token 重建图像 $\hat o_t$ ，即：

\hat o_{t+1}=D_v(\hat z_{t+1}).

而下游的视觉规划则可以直接在潜在空间 $\mathcal{Z}$ 中进行。

通过物理描述符 token 进行物理校准

视觉世界模型中的物理歧义

环境的前向转移函数 $\mathcal{T}$ 不仅取决于当前状态和动作，还取决于一组底层物理属性 $\xi\in\mathcal{X}$ ，例如质量、表面摩擦或关节阻尼。由于其中许多物理属性与表面外观几乎没有关联，仅凭一帧静态视觉观测 $o_t$ 或一个较短的观测窗口，很难确定 $\xi$ ，因此也就无法唯一确定真实的状态转移动态。

由此，以动作为条件的未来预测就成为一个不适定的一对多问题。如果没有来自测试场景的充分交互数据来校准未来预测器 $f_\theta$ ，其预测可能会退化为训练分布上的期望值；当测试环境偏离这一分布的典型均值时，动力学预测偏差便会不断累积。

物理描述符 token

图2：方法概览。 PhysiCalWorld 通过上下文交互提示，将动作条件世界模型校准到测试场景的实际动力学。在 (a) 中，仅凭当前视觉观测无法识别测试场景 T 的物理动力学，这迫使世界模型在多个潜在未来状态之间进行猜测。在 (b) 中，从左上角开始，探索动作 $a_{1:T_s}^{c}$ 首先在测试场景 T 中执行，得到观测 $o_{1:T_c}^{c}$ 。随后，上下文编码器 $g_{\phi}$ 从该观测-动作序列中提取物理信息，并将其压缩为物理描述符 token $z_{\mathrm{phy}}$ 。以 $z_{\mathrm{phy}}$ 为条件，世界模型能够生成与测试场景动力学一致的未来预测 $\hat{o}_{t+1}$ 。

为解决上述问题，使用一个紧凑的单一表示来校准世界模型，将其称为物理描述符 token $z_{\mathrm{phy}}$ 。该 token 从测试场景中采集的探索性交互序列中提取。

形式上，给定一段长度为 $T_c$ 的交互片段：

C=\{(o_i^c,a_i^c)\}_{i=1}^{T_c},

上下文编码器 $g_\phi$ 将其映射为描述符 token：

z_{\mathrm{phy}}=g_\phi(C)\in\mathbb{R}^{d_{\mathrm{phy}}}.

在编码器内部，轻量级视觉编码器 $E_c^v$ 提取逐帧视觉特征，动作编码器 $E_c^a$ 则将控制动作映射为动作嵌入。在每个时间步 $i$ ，二者沿通道维度拼接，形成一个联合转移 token：

\left[E_c^v(o_i^c)\mid E_c^a(a_i^c)\right] \in\mathbb{R}^{d_v+d'_a}.

随后，Transformer $E_c^{\mathrm{fuse}}$ 在时间维度上融合这些转移 token，并通过一个可学习的查询 token $z_{\mathrm{cls}}$ 对它们进行池化：

z_{\mathrm{phy}} = g_\phi(C) := E_c^{\mathrm{fuse}} \left( z_{\mathrm{cls}}, \left\{ \left[ E_c^v(o_i^c)\mid E_c^a(a_i^c) \right] \right\}_{i=1}^{T_c} \right)_0. \tag{4}

其中， $[\cdot\mid\cdot]$ 表示沿通道维度拼接， $(\cdot)_0$ 表示查询 token 所在位置的输出。我们用 $\phi$ 统称 $g_\phi$ 的所有参数，包括 $E_c^{\mathrm{fuse}}$ 、 $E_c^v$ 、 $E_c^a$ 和 $z_{\mathrm{cls}}$ 的参数。随后，世界模型的潜在动力学预测器 $f_\theta$ 在默认长度为 $K$ 的“观测—动作”历史窗口之外，同时以 $z_{\mathrm{phy}}$ 为条件，预测未来潜在表示 $\hat z_{t+1}$ ：

\hat z_{t+1} = f_\theta \left( \{(z_i,e_{a_i})\}_{i=t-K+1}^{t}, z_{\mathrm{phy}} \right). \tag{5}

物理描述符 token 的设计具有两个实际优势：

轨迹推演的额外开销极小。 在预测器 $f_\theta$ 中仅增加一个 token $z_{\mathrm{phy}}$ ，只会引入近乎可以忽略不计的常数量级计算开销。相比扩大历史窗口，或直接在 $f_\theta$ 的输入前添加原始上下文帧，这种做法避免了随序列长度平方增长的注意力计算开销。
一次提取，上下文内重复使用。 $z_{\mathrm{phy}}$ 只需通过轻量级上下文编码器进行一次前向计算，之后即可缓存。如果测试场景的动力学特性保持不变，同一个描述符就可以在任意多次后续轨迹推演或规划任务中重复使用，无须额外的编码成本。

无需物理标签的 PhysiCalWorld 训练

PhysiCalWorld 在训练和评估阶段都不需要预先给定的物理方程，也不需要容易产生误差的显式参数估计

虽然为真实开放场景推导解析表达式或测量精确物理参数十分困难，但构建分组数据却很简单：每组只需包含在同一物理环境中采集的交互数据。这种分组方式在数据采集过程中几乎不增加额外工作。仅凭这样的数据分组，就足以训练 PhysiCalWorld，并学习有效的物理描述符 token。

简而言之：就是在同一组数据集，选一个轨迹来生成物理描述符 token ，用另一个轨迹来验证，训练物理描述符 token 编码器。

具体来说，训练数据集被划分为 $M$ 个组：

\mathcal{D}_{\mathrm{train}}=\{G_j\}_{j=1}^{M},

其中，每个组 $G_j$ 包含的交互回合共享相同的底层物理配置 $\xi_j$ 。

训练时，对于任意从 $G_j$ 中采样的转移 $(o_t,a_t,o_{t+1})$ ，我们从同一组中独立采样另一段交互片段：

C_{\mathrm{tr}}^j = \{(o_k^c,a_k^c)\}_{k=1}^{T_c} \sim G_j,

并将其作为交互提示。

由于这两段序列共享完全相同的底层转移动态 $\mathcal{T}_{\xi_j}$ ，上下文编码器 $g_\phi$ 可以学习将场景的物理特征提炼到紧凑的描述符 token $z_{\mathrm{phy}}$ 中，从而生成正确的预测。我们采用潜在空间预测目标，对上下文编码器 $g_\phi$ 和动力学预测器 $f_\theta$ 进行联合端到端优化：

\begin{aligned} \mathcal{L}(\theta,\phi) &= \mathbb{E}_{ \substack{ G_j\sim\mathcal{D}_{\mathrm{train}},\\ (o_t,a_t,o_{t+1})\sim G_j,\; C_{\mathrm{tr}}^j\sim G_j } } \left[ \left\| f_\theta(z_t,e_{a_t},z_{\mathrm{phy}}) -z_{t+1} \right\|_2^2 \right], \\ &\text{其中}\quad z_t=E_v(o_t),\qquad e_{a_t}=E_a(a_t),\\ &\hspace{3.5em} z_{t+1}=E_v(o_{t+1}),\qquad z_{\mathrm{phy}}=g_\phi(C_{\mathrm{tr}}^j;\phi). \end{aligned} \tag{6}

为简化表达，公式（6）中假设 $f_\theta$ 的输入窗口大小 $K$ 为 1。

这一表述使 PhysiCalWorld 能够直接从交互片段 $C_{\mathrm{tr}}$ 中提取具体实例的物理动态，并将其编码到紧凑的物理描述符 token $z_{\mathrm{phy}}$ 中，从而避免依赖真实物理标签作为监督。

使用 PhysiCalWorld 进行推理

采集交互提示

在测试阶段，PhysiCalWorld 无须微调，即可零样本适应具有新物理配置的环境。为了将世界模型校准到一个未见过的测试场景，智能体首先执行一系列探索性动作，采集一个长度为 $T_c$ 的上下文提示：

C_{\mathrm{eval}} = \{(o_k^e,a_k^e)\}_{k=1}^{T_c},

其中包含执行的动作及相应的观测。动作序列 $\{a_k^e\}_{k=1}^{T_c}$ 既可以随机采样，也可以由一种与任务无关的、类似随意试探的探索策略生成，因为该交互提示的目的只是揭示场景的物理动态。不过，这些动作应当与环境产生物理接触，因为缺乏接触或运动的交互无法揭示底层动力学特性。

以实际物理动态为依据的轨迹推演

给定测试场景中采集的 $C_{\mathrm{eval}}$ ，上下文编码器 $g_\phi$ 只需计算一次物理描述符 token；只要测试场景的动力学特性不变，该 token 就可以保持固定。经描述符 $z_{\mathrm{phy}}^{\mathrm{ev}}$ 校准后，预测器 $f_\theta$ 即可预测未来潜在表示：

\hat z_{t+1} = f_\theta \left( \{(z_i,e_{a_i})\}_{i=t-K+1}^{t}, z_{\mathrm{phy}}^{\mathrm{ev}} \right), \qquad z_{\mathrm{phy}}^{\mathrm{ev}} = g_\phi(C_{\mathrm{eval}}). \tag{7}

其中，预测得到的潜在表示 $\hat z_i$ 可以作为观测反馈给 $f_\theta$ ，从而实现长时域的开环轨迹推演

如果场景内在的物理属性保持不变，那么在视觉规划过程中，所有轨迹推演步骤以及所有待评估的候选轨迹，都可以共享同一个 $z_{\mathrm{phy}}$ 。因此，无论规划时域有多长，或采样了多少条动作序列，每个场景中的提示都只需要编码一次。

值得强调的是，推理过程既不需要物理参数，也不需要解析模型或针对特定任务的微调：将 PhysiCalWorld 适配到一个新场景，只需要采集一段该场景内的上下文交互。

实验

实验设置

实验在四个仿真环境中进行，核心设置是：外观相近，但隐藏物理属性不同，用来检验模型能否通过交互识别实际动力学。每个环境使用 135 种物理配置训练，在 15 种未见配置上测试；评估包括 开环预测准确性（连续使用自己的预测作为后续输入，检验误差累积）和 视觉规划成功率（根据起始图像和目标图像规划动作，再在环境中执行）。

方法分别接入 DINO-WM 和 LeWM，测试时仅提供交互片段，不更新模型权重。以下整理自论文第 4 节及相关附录：:codex-file-citation

对比设计及原因

对比方法	要回答的问题
原始世界模型、TS-WM	不做物理校准会怎样？
Long History：扩大历史窗口	单纯增加历史观测是否就足够？
Context Prefix：直接输入完整交互上下文	压缩为一个 token，是否仍能保留有效信息并降低计算量？
Estimated Physics：先估计物理参数，再输入世界模型	能否替代依赖物理标签的显式参数估计？
Privileged Physics：直接输入真实物理参数	与理想的物理信息输入相比，还有多少差距？作为参考上限，而非同等条件的基线。

主要实验与结果

下表成功率均为 DINO-WM → DINO-WM + PhysiCal，便于观察校准带来的增益。

实验	设计目的	结果与结论
Push-T：改变 T 形块质心	外观不变，但受推后的旋转、滑动不同，直接检验隐藏物理属性的校准能力。	成功率 53.3% → 62.7%；预测优于长历史、原始上下文及显式参数估计，甚至超过真实参数输入的参考基线。说明交互描述符能有效捕捉质心引起的动力学差异。
Reacher：改变关节阻尼	检验相同力矩下不同运动响应的预测。	成功率 52.0% → 61.3%；预测优于 Context Prefix，但规划成功率与其持平，仍低于有物理标签监督的参数估计方法。
BeerPong：改变碰撞能量耗散	检验模型能否捕捉碰撞瞬间才显现的物理差异。	成功率 44.0% → 80.0%；视觉预测优于 Context Prefix，但规划略低于后者的 82.7%。作者推测，碰撞线索在时间上较稀疏，保留完整上下文有时更利于捕捉这些信息。
FetchSlide：同时改变质量、摩擦和空气阻力	检验方法能否处理多个物理因素耦合，而不仅是单类属性变化。	成功率 26.7% → 56.0%；预测指标整体优于 Context Prefix，但规划仍低于有物理标签监督的参数估计方法。说明方法能处理耦合动力学，但尚未完全替代显式物理信息。

在 LeWM 上，四个环境的预测和规划也均得到改善，支持该模块可跨骨干使用，而非只对 DINO-WM 有效。

进一步分析

效率：一个 token 是否值得？ 在 Push-T 中，PhysiCal 的规划耗时约 32.7 秒，接近原始 DINO-WM；直接输入完整上下文约 323.1 秒。说明描述符缓存和复用有效避免了反复处理长上下文的成本。
分布外泛化：是否只记住训练参数？ 在 Reacher 中将关节阻尼扩展到训练范围之外。直接输入真实参数的模型性能明显下降，而 PhysiCal 的预测更稳定，表明从交互中提取动态特征具有一定外推能力；该结论主要来自这一环境的实验。
表示分析：描述符是否包含物理结构？ 在 Push-T 中比较不同质心配置的描述符，相邻质心对应较高相似度，远距离质心相似度较低甚至为负。说明仅靠预测损失，也能学到与物理属性相关的表示，但这不等于恢复了可直接解释的物理参数。

PhysiCalWorld: IN-CONTEXT PHYSICS CALIBRATION FOR WORLD MODELS

PhysiCalWorld: IN-CONTEXT PHYSICS CALIBRATION FOR WORLD MODELS

一句话总结

摘要

引言

方法

潜在空间世界模型

通过物理描述符 token 进行物理校准

视觉世界模型中的物理歧义

物理描述符 token

无需物理标签的 PhysiCalWorld 训练

使用 PhysiCalWorld 进行推理

采集交互提示

以实际物理动态为依据的轨迹推演

实验

实验设置

对比设计及原因

主要实验与结果

实验结论

总结

局限性