pico-WAM: Evaluating Counterfactual Prediction and Planning Error in a Compact World Action Model
pico-WAM: Evaluating Counterfactual Prediction and Planning Error in a Compact World Action Model
一句话总结
pico-WAM 让策略先提出多个可能的动作方案,再由世界模型预测每个方案执行后的状态,并根据预测结果选择方案;作者通过加入反事实动作数据、对比不同搜索方式,以及将学习模型评分替换为仿真器真实评分,区分控制失败究竟是因为策略没有提出好的候选方案,还是因为世界模型错误预测了候选方案的结果、导致规划器选错方案。
是的,这篇文章就这些东西,别看了。
摘要
当世界动作模型在控制任务中失效时,瓶颈究竟在于候选方案生成,还是轨迹评分? 提出了 pico-WAM:一个以外部提供的物理状态作为输入的紧凑模型,用于追踪策略与动力学模型之间的交互。
从策略重新初始化:每次观察当前状态后,让策略重新提出一个计划,再围绕这个计划搜索。 热启动:把上一轮还没执行完的计划接着用,作为这轮搜索的起点。
反事实分支训练改善了短时域内的代价排序,并使从策略重新初始化的搜索相对于热启动搜索的覆盖率优势扩大了 4.8 个百分点; 在两种数据设置下,从策略重新初始化的搜索均表现更优。在保留学习到的候选方案的同时,将学习得到的轨迹评分替换为仿真器计算的代价,可使覆盖率提高 12.2 个百分点。而仅在候选方案生成过程中改用仿真器状态,则未检测到性能提升。
组件诊断与一项独立的开门任务研究表明,为什么更好的排序未必会带来更好的控制表现,也未必能够超越模仿学习。 这些受控干预表明,在所测试的设置中,评分是一个有效的改进方向;同时,我们提供了一套可复现的实验流程,用于诊断紧凑型世界模型。
引言
pico-WAM 是一种紧凑的架构,旨在单独考察世界动作模型如何预测结果并选择动作。 策略、状态转移模型以及显式的状态读出模块共用同一个表征,使决策过程的每个环节都可以追踪:观测、提出候选动作、推演后果、评分与执行。利用这一透明的设置,研究训练数据的覆盖范围和搜索方式的选择如何影响闭环行为。
图1:比较候选选择及其后果。两个模型从相同的256个候选池中选择12步的规划。线框轮廓显示的是预测的和模拟的物理状态,而不是解码后的图像。两个被选中的序列都没有移动方块;这里的模拟器代价(simulator cost)较低,仅仅反映了智能体(agent)更靠近了目标。
严格仅使用演示数据训练的世界模型,只能观察到专家实际选择的动作;然而,规划器必须评估专家未曾选择的反事实动作。一个紧凑模型能否足够准确地为这些偏离演示数据流形的候选方案评分,从而指导控制?图 1 展示了预测状态转移与选择最佳动作序列之间的这一差距。
围绕两个问题开展受控研究。 第一,加入由仿真器生成的反事实分支,是否会改变从策略重新初始化搜索相对于从上一轮计划热启动搜索的收益? 第二,在保留学习到的策略所生成的候选方案时,将学习得到的轨迹评分替换为仿真器计算的真实代价,是否能够改善控制表现?
我们发现,分支数据提升了代价排序的准确性,并使从策略重新初始化的搜索更具优势;与此同时,在使用学习到的候选方案时,采用精确的仿真器评分能够显著提高任务覆盖率。 这两组配对干预实验构成了本文的核心贡献。组件消融实验解释了共享表征的行为,一项补充性的开门任务研究拓展了我们关于排序的发现,而模仿学习基线则说明,仅仅改善轨迹排序,并不能保证更强的闭环控制能力。
问题是:如果最后没有完成任务,究竟是哪一步出了问题? 可能是策略提出的方案本来就不好,也可能是模型预测错了,导致规划器把差方案选成了好方案。
本文主要就是要区分这些原因。还有一个与此相关的问题: 模型只看过专家实际执行的动作,凭什么能准确判断那些专家没有执行过的动作? 这些“在同一状态下,换一种动作会怎样”的问题,就是文中所说的反事实预测。
方法
策略回答的是“我应该模仿什么动作?”,动力学模型回答的是“如果执行这个动作,会发生什么?”。状态读出模块将预测结果显式呈现出来,外部规划器则利用这些结果比较不同动作(见图 2)
当前图像 + 已知物理状态 + 固定指令
↓
编码成共享表征 z
↓
策略生成初始动作方案,再加噪声得到多个候选方案
↓
动力学模型预测每个方案对应的未来状态
↓
根据预测状态,计算各方案的几何代价
↓
选出代价最低的方案,只执行第一个动作
↓
重新观测,再规划
图2:pico-WAM。 (a) 图像和提供的物理状态进入一个共享的潜在表示(latent),该表示作为输入提供给策略(policy)和读出模块(readout)。反应式控制(Reactive control)从每个包含八个动作的动作块中执行四个动作。(b) 动作推动潜在表示演进;未来的潜在表示复用相同的预测头(heads)。专家动作、状态目标和未来编码通过公式2对模型进行监督。分支(Branches,指反事实分支)从不提供专家动作标签。(c) 规划(Planning)在执行一个动作后再次进行观察。模拟器查询保留用于诊断目的,除非是在明确要求精确(exact)的规划器中。
共享表征
模型的输入包括一幅 64×64 的图像、一条固定指令,以及一个八维状态。 该状态包含智能体的位置与速度,以及物块的位置与朝向,其中朝向用 (cosθ,sinθ) 表示。
带有 16 个空间 softmax 关键点的三层卷积神经网络(CNN)、一个门控循环单元(GRU)和一个状态多层感知机(MLP),分别处理这些输入,再将结果送入融合 MLP,生成 zt∈R128。
策略网络包含三个各有 512 个单元的隐藏层,预测八个二维动作。残差动力学模型包含两个各有 256 个单元的隐藏层,用于推进潜在状态:
z^t+1=fθ(zt,at)=LN(zt+MLP[zt,at]).(1)
线性读出模块 R 将潜在状态映射为标准化后的物理状态。将策略应用于模型推演出的潜在状态,即可生成初始计划。 可选的图像解码器在这里被禁用;推理时可获得完整状态,且指令保持不变。这一设置使研究能够单独考察策略与动力学模型之间的交互,而非视觉感知或语言泛化能力。
训练
对于一个包含 H 次状态转移的时间窗口,训练损失为:
L=LBC+0.5(Ls,0+Ls,1:H)+Lz.(2)
各损失项均为平方误差,并在批次样本和所有输出坐标上取平均;未来预测损失还会在 H 个时间步上取平均。 行为克隆(BC)通过回归学习包含八个动作的专家动作块。状态目标使用训练演示数据的均值和标准差进行标准化,其中标准差的下限设为 10−3。
未来潜在状态的目标值来自观测编码,并停止其梯度传播,但这不意味着整个编码器被冻结。编码器仍会通过当前观测这一侧,以及其他相关损失接受训练。
每隔四个记录状态,便从该状态出发,对后续八个演示动作添加高斯噪声,生成一条分支。这些分支沿用其来源回合所属的数据集划分,且仅提供预测目标。分支生成同时改变了状态覆盖范围和动作覆盖范围。
规划
策略向前滚动展开 12 步,形成一个候选方案。全部 256 个候选方案由策略生成的候选方案、一个搜索中心,以及 254 个带噪声的扰动方案组成。我们使用以下函数对这些方案评分:
J(s^1:L)=L1k=1∑L(wkdT(s^k,g)+0.05dA(s^k)).(3)
其中,L=12,wk 从 0.5 线性增加至 1.5;dT 计算物块与目标对应角点之间距离的平均值,单位为像素。设智能体位置为 pA,物块质心为 cT,则:
dA=max(∥pA−cT∥2−15,0),
其中减去的 15 为智能体半径。
每轮搜索选出代价最低的计划,执行其第一个动作,然后重新规划。
从策略重新初始化的搜索(restart)以当前策略生成的候选方案作为搜索中心,因此该方案会在候选集合中重复出现。热启动搜索(warm)则将上一轮计划向前移位,并在末尾补上当前策略候选方案的最后一个动作。首次调用时,两种搜索方式都使用策略生成的候选方案。
实验
实验目的
本文通过受控实验,分析世界模型用于规划时的性能瓶颈,主要回答:
- 增加专家未执行动作的反事实数据,能否改善预测、候选方案排序与最终控制?
- 控制失败主要来自候选方案生成,还是轨迹评分?
- 更准确的预测和排序,是否意味着更好的控制,以及优于模仿学习?
实验设置
主要任务为 Push-T:控制智能体推动 T 形物块,使其与目标区域重合。使用 206 条专家演示,并通过仿真器对演示动作添加扰动,生成反事实分支数据。模型在推理时可以直接获得完整物理状态。
主要比较三类模型:
- BC:只学习模仿专家动作。
- Current:模仿学习加当前状态重建。
- WAM:进一步学习未来状态预测和潜在表征一致性,可用于规划。
WAM 比较两种搜索方式:每次围绕当前策略方案重新搜索的 Restart,以及沿用上一轮剩余计划的 Warm。
主要指标为覆盖率和成功率:覆盖率取整个回合中物块与目标的最大重合比例,超过 95% 视为成功。另外评估预测误差、候选排序及选择遗憾,即“所选方案的真实代价与候选集合中最优代价的差值”。
为减少混杂因素,主要实验使用 15 个训练随机种子,并在不同条件间匹配初始参数、专家动作标签、训练更新次数及评估初始状态。
实验设计与结果
1. 反事实分支数据是否有助于规划?
设计与原因: 比较“仅演示数据”和“演示+反事实分支”,分别采用 Warm、Restart 搜索。因为规划器会尝试专家未执行过的动作,所以需要验证模型是否能判断这些动作的后果。
结果:
| 训练数据 | Warm 覆盖率 | Restart 覆盖率 |
|---|---|---|
| 仅演示 | 21.3% | 43.8% |
| 加入反事实分支 | 51.1% | 78.4% |
加入分支后,Restart 相对 Warm 的优势扩大了 4.8 个百分点。同时,随机动作下的物块预测误差明显降低,候选代价排序相关性由 0.49 提高至 0.80,选择遗憾由 7.56 降至 2.77。
结论: 更广的状态与动作覆盖有助于反事实预测和规划。Restart 在两种数据条件下都更好,分支数据进一步扩大了其优势。
2. 瓶颈在候选方案生成,还是轨迹评分?
设计与原因: 将候选方案生成与轨迹评分分别设置为“使用学习模型”或“使用真实仿真器”,形成四组交叉对照,以区分“没有提出好方案”和“提出了却没选出来”。
结果: 保留学习到的候选方案,仅改用仿真器真实代价评分,覆盖率由 77.6% 提升至 89.8%,增加 12.2 个百分点;仅在方案生成过程中改用仿真器状态,则没有检测到明显收益。
结论: 在该设置中,轨迹评分是有效的改进方向,现有候选方案中已经存在可以通过更准确评分选出的更好方案。
3. 哪些模型组件重要?
设计与原因: 分别阻断预测损失向编码器传播的梯度、移除图像或物理状态输入,以及移除指令或部分预测损失,检查共享表征和各输入的作用。
结果:
- 阻断辅助预测梯度后,Restart 覆盖率下降约 44.3 个百分点,说明仅由模仿学习塑造的表征不足以支持同样有效的搜索。
- 只保留图像、移除物理状态后,性能大幅下降;只使用状态则没有检测到明显下降。
- 移除固定指令或单项预测损失,没有检测到明确变化,但不能据此认定它们完全无用。
结论: 当前实现高度依赖显式物理状态,预测任务对表征的塑造有助于规划;共享潜空间架构本身并未被证明具有必然的性能优势。
4. 更好的规划是否超过模仿学习?
设计与原因: 与普通 BC、调参后的 BC 和 Diffusion Policy 比较,并补充训练时域及原始环境检查,避免只证明规划器内部有所改善。
结果: 分支训练后的 Restart 与普通 BC 覆盖率基本相当,成功率更高;但相对调参后的 BC 没有检测到明确优势,成功率低于 Diffusion Policy。模型仍明显高估计划收益:预测前进约 10.9 像素,实际仅约 1.2 像素。
结论: 排序改善不等于闭环控制更强,也不保证超过模仿学习。 此外,部分代价改善可能只是智能体更接近物块,并不代表物块真正被推向目标。
5. 开门任务能否复现这一现象?
设计与原因: 在 Meta-World 开门任务中,使用独立的状态空间动力学模型,比较仅专家演示与加入带噪声轨迹的数据,检验“扩大数据覆盖有助于排序”的机制。
结果: 加入带噪声轨迹后,所有 10 次训练的选择遗憾均降低;规划成功率由 78.6% 提高至 88.2%,但仍低于 BC 的 98.6%。
结论: 更广的数据覆盖也能改善另一任务中的排序和规划表现,但这验证的是数据机制,不能视为 pico-WAM 架构的跨任务迁移。
实验结论
反事实数据改善了模型对非专家动作后果的判断,准确评分能够进一步提升控制;但更好的预测与排序,并不足以保证规划优于模仿学习。 本文的主要价值在于提供受控诊断方法,帮助定位世界模型控制系统的瓶颈;实验结论主要适用于所测试的、可获得完整物理状态的仿真设置。
总结
pico-WAM 使世界动作模型的计算过程变得清晰可见:同一个表征同时支持模仿学习、模型推演的状态转移,以及状态预测。实验将这一架构转化为以下实践经验:
- 应当在规划器可能选择的动作上测试预测能力,而不仅仅是在记录下来的动作上测试。
- 在诊断规划过程时,应将候选方案生成与评分分开考察。
- 应评估训练数据与搜索方式之间的交互作用,并保留直接输出动作的控制基线。
反事实分支扩大了重新初始化搜索原本已有的优势,但没有改变哪一种初始化方式表现更好。在保留学习得到的候选方案的条件下,替换评分方式的实验识别出了一种有效的干预手段。
这些干预实验解释了受控设置下的模型行为,但并未确立一种新架构,也未证明向实体硬件迁移的能力,或规划方法具有普遍优势。共享模型的实验在 Push-T 中使用了带监督的状态信息,而开门实验采用的是另一种架构。
这样的研究范围,使一个小型教学实现也能支持可复现的研究问题,帮助理解动作执行与预测之间如何相互影响,而不必要求它与大型模型竞争。
本文的价值主要是提供一套可复现的诊断方法,而不是提出性能领先的新架构;它说明了反事实数据和准确评分为什么有用,但尚未解决预测误差如何导致具体控制失败,以及如何稳定超越模仿学习的问题。
局限性
较低的选择遗憾可能仅仅反映智能体更接近了物块,而此时物块尚未发生任何移动(见图 1),因此它未必意味着任务立即取得了进展。即使经过分支数据训练,模型对计划实际能够取得的进展仍然存在高估。确定每次失败究竟由哪些接触误差或状态误差引起,仍是一个有待解决的问题。
以下是根据上述讨论及实验限定整理的笔记,不是原文中独立列出的局限性章节。
- 依赖显式物理状态。 主要实验直接提供完整物理状态,因此不能据此证明模型在纯视觉、部分可观测场景下同样有效。
- 排序改善不等于任务进展。 代价下降可能只是智能体更接近物块,并未真正推动物块;分支训练后,模型仍会高估计划收益,具体的接触与状态误差来源尚不清楚。
- 没有证明规划普遍优于模仿学习。 结果支持改进评分与数据覆盖,但不意味着加入世界模型规划就一定优于直接执行策略。
- 跨任务与现实迁移验证有限。 开门实验使用不同架构,验证的是扩大数据覆盖有助于排序的机制,而非 pico-WAM 架构本身的迁移能力;论文也未验证实体机器人部署。