MiraBench: Evaluating Action-Conditioned Reliability in Robotic World Models
MiraBench: Evaluating Action-Conditioned Reliability in Robotic World Models
一句话总结
MiraBench 面向机器人世界模型的动作条件可靠性,提出涵盖物理遵循性、动作跟随忠实度和乐观偏差检测的三层评估基准,并构建包含 906 个生成视频与 16,704 条人工标注判断的数据集,以支持经人工验证的自动化评估,揭示当前模型即使能生成合理的成功视频,也可能无法正确预测失败动作的后果。
摘要
当前的评估方法很少能够证明动作条件世界模型在给定动作条件下生成的预测是可靠的。 现有基准主要关注视觉保真度,因此尚不清楚模型预测的未来状态是否符合物理规律,是否忠实于所执行的指令动作,以及当动作本应导致失败时,模型是否能够准确反映失败结果。
提出了 MiraBench,这是一个分层基准,将动作条件可靠性确立为机器人世界模型的核心评估目标。将这一目标分解为三个难度逐步提升的层级。
- 物理遵循性,评估模型生成结果在无需参考视频的情况下是否符合物理规律。
- 动作跟随忠实度,衡量模型预测是否遵循与任务相关的动作输入。
- 乐观偏差检测,检验模型在面对会导致失败的动作时,是否仍倾向于预测任务成功。
构建了一个由人工标注的数据集,其中包含跨任务、跨失败类别以及跨主流世界模型的超过 16,000 条判断结果
在广泛的模型范围内,MiraBench 揭示了三个核心发现。视觉保真度无法很好地代表动作忠实度。增大模型规模并不能稳定地提升动作跟随能力。当前系统普遍存在乐观偏差。
引言
问题:现有基准主要衡量生成视频的视觉效果,而不是衡量模型是否保留了忠实模拟器所必需的动作条件后果 一个世界模型可能生成视觉上合理的未来状态,同时却违反物理规律、忽略被指定的动作,或者用虚构的成功结果替代本应由失败动作导致的失败结果。
由于机器人学习数据集主要由成功示范构成,而失败数据往往数量稀少、被过滤掉,甚至完全不存在,因此上述错误尤其容易出现。模型可能因此形成一种强烈的成功完成先验,从而压制与之相矛盾的动作证据。我们将这种系统性失败模式称为乐观偏差,如图 1 所示
图1:促使提出 MiraBench 的代表性失败模式。(a–b) 物理遵循失败包括物体形变、消失以及不合理的自由落体动力学。(c) 动作跟随失败发生在预测运动不完整或与指令动作不匹配时。(d) 乐观偏差发生在失败动作被成功预测所覆盖时。
提出了 MiraBench,这是一个用于评估机器人世界模型动作条件可靠性的分层基准,将可靠性分解为三个相互嵌套的层级。较低层级的失败表明模型存在物理不一致问题,而较高层级的失败则揭示了模型对动作不敏感,或者存在偏向成功预测的倾向。
- 物理遵循性用于检验预测的未来状态是否保持物理一致性。
- 动作跟随忠实度用于检验生成结果是否反映被指定的动作以及任务意图。
- 乐观偏差检测用于检验模型在接收到现实的失败诱发动作时,是否能够保留失败结果。
该数据集包含 906 个生成视频,以及围绕四个模块形成的 16,704 条结构化标注决策。这四个模块包括以下内容。
- 16 项物理一致性指标
- 带有异常轨迹的物理定律评分
- 结构化动作跟随判断
- 包含 18 个问题的乐观偏差诊断
这些标注为评估器提供了监督,使其能够关注物体持续存在、运动合理性、遮挡行为、任务完成情况、失败原因以及成功覆盖线索等因素。经过验证的评估器随后被应用于更广泛的模型集合,使 MiraBench 能够将接近人工水平的诊断粒度与可扩展的多模型评估结合起来。
视觉保真度无法很好地代表动作保真度。模型规模并不能稳定地提升动作跟随能力。当前系统普遍存在乐观偏差。
主要贡献如下。
- 我们将动作条件可靠性提出为机器人世界模型的一项评估目标,并将模拟器的忠实性与一般视觉保真度区分开来。
- 我们对乐观偏差进行了形式化定义。乐观偏差是一种可测量的失败模式,指世界模型在接收到会导致失败的动作时,仍然虚构出成功结果。
- 我们提出了 MiraBench,这是一个分层基准,通过无需参考视频的物理检查、动作条件任务评估以及针对性的失败保留测试,对物理遵循性、动作跟随忠实度和乐观偏差进行评估。
- 我们发布了一个细粒度人工标注数据集,其中包含 906 个视频和 16,704 条结构化标注决策,覆盖四个评估模块。该数据集为以人为依据的视觉语言模型评估器提供了逐指标监督,也支持可复用的失败模式分析。
- 我们使用经过验证的 MiraBench 评估器,对 12 种具有代表性的世界模型配置进行了广泛的自动化评估,揭示了视觉保真度、名义动作跟随能力、模型规模和失败保留能力之间存在系统性差距。
问题定义
将世界模型视为条件生成器
令 W 表示一个机器人世界模型,令 E 表示真实的环境动力学。给定初始观测 o0 和动作序列 a1:T,有:
v^1:T∼pW(⋅∣o0,a1:T),v1:T∗∼pE(⋅∣o0,a1:T).(1)
其中,v^1:T 表示模型预测的轨迹,v1:T∗ 表示真实环境中的轨迹。
一个忠实的世界模型应当保留条件信号所带来的后果。也就是说,模型生成的轨迹应当满足以下要求:
- 在物理上是合理的;
- 在语义上与指定动作保持一致;
- 当指定动作意味着任务失败时,能够准确反映失败结果。
我们将这一性质称为动作条件可靠性。
物理遵循性
令
Φ={ϕ1,…,ϕK}
表示一组适用于所有可实现轨迹的物理不变量。这些不变量包括物体持续存在、运动连续一致、接触因果关系、遮挡连续性以及简单的物理定律等。
我们不将每个不变量视为一个二值谓词,而是为每个 ϕk 关联一个归一化的违反程度:
δk(v^)∈[0,1].
其中,0 表示满足该不变量,1 表示出现严重违反。
我们将物理遵循性定义为:
PA(v^)=1−K1k=1∑Kδk(v^).(2)
该指标仍然是无需参考视频的。也就是说,物理有效性直接根据模型生成的轨迹进行评估,而不需要真实视频作为标准答案。
因此,即使某个预测结果在视觉上看起来很真实,只要它违反了物体持续存在、接触动力学或基本运动学约束,仍然可能获得较低的物理遵循性分数。
乐观偏差
令 a+ 表示一个在真实环境中能够成功完成任务的标准动作序列。令
a−=Perturb(a+,τ,s)
表示对 a+ 施加扰动后得到的动作序列。其中,τ 表示扰动类型,s 表示扰动强度。按照真实环境动力学,这种扰动应当导致任务失败。
令
Y(v,g)∈{0,1}
表示在目标 g 下,轨迹 v 是否展示了任务成功。按照构造,对于
v−∗∼pE(⋅∣o0,a−,g),
有:
Y(v−∗,g)=0.
我们将乐观偏差定义为:
OB(W)=Eo0,g,τ,s[Y(v^−,g)v^−∼pW(⋅∣o0,a−,g),Y(v−∗,g)=0].(3)
当 OB(W)=0 时,说明模型能够保留失败结果。相反,当 OB(W)=1 时,说明即使输入的是会导致失败的动作,模型也总是预测任务成功。
等价地,论文还报告失败保留率:
Failure Preservation=1−OB(W).
因此,失败保留率越高,表示模型的可靠性越好。
动机研究
解耦假设
图2:MiraBench 人工标注语料库概览。该语料库包含 906 个生成视频和 16,704 条结构化人工标注决策,覆盖三个模块:(a) 物理遵循,包括物理一致性和物理定律合规性;(b) 动作跟随;(c) 乐观偏差检测。这些标注在代表性模型输出上收集,为验证 MiraBench 评估器提供逐指标监督,随后这些评估器被用于评估更广泛的世界模型集合。
首先开展了一项小规模动机研究,用于检验当前世界模型中是否已经能够观察到动作条件可靠性方面的失败。核心假设是,以成功为主的机器人数据可能会导致视觉合理性与动作忠实度之间出现解耦。
令
D+={(o0,a+(i),v∗(i))}
表示一个主要由成功示范构成的训练分布。由于反事实失败很少出现在训练数据中,学习得到的世界模型可能会依赖一个较强的、由场景条件决定的成功先验来解释未来视频,而只保留较弱的动作依赖:
pW(v^∣o0,a)∝pprior(v^∣o0)⋅presidual(v^∣o0,a).(4)
其中,pprior 表示由初始观测所暗示的可能成功未来,presidual 表示剩余的、由动作条件决定的变化。
在这一观点下,失败诱发动作 a− 可能会被成功先验压制,使模型生成一个视觉上合理的成功轨迹,而不是正确的失败结果。
这一假设带来两个经验性预测: 第一,不同模型在物理一致性方面应当表现出可测量的差异,因为物理不一致属于较低层级的失败,可能会掩盖模型对动作的敏感性。 第二,视觉质量不足以证明模型可靠。模型可能生成视觉上合理的视频,却仍然在面对本应导致失败的动作时预测任务成功。
研究设置
研究选取了四个具有代表性的模型:
- DreamDojo-2B
- DreamDojo-14B
- Wan2.1-14B
- Happy Horse
这些模型覆盖了不同的模型规模、访问形式和生成机制,能够考察上述失败是否仅与某一个模型家族有关,还是普遍存在于不同类型的系统中。
经过训练的标注人员使用结构化评分标准对生成视频进行评估,而不是给出整体偏好分数。
对于物理一致性,标注人员从多个细粒度维度进行评分,包括:
- 物体形状
- 物体大小
- 材料行为
- 背景稳定性
- 动作与效果之间的一致性
对于乐观偏差,标注人员比较基线预测与经过失败扰动的预测。比较内容包括多个项目:
- 对扰动的敏感性
- 对任务成功与否的预测
- 虚假成功行为
- 失败保留能力
这一设计使试点研究能够区分低层级的物理不一致与高层级的成功偏向预测,并检验视觉上合理的生成结果是否仍然可能缺乏动作条件可靠性。
研究结果
表1:对 GR-1 片段的试点人工评估。物理一致性报告通过率;失败扰动探测报告视觉质量、物理合理性和乐观偏差。
| 模型 | 形状 (%) | 大小 (%) | 材料 (%) | 背景 (%) | 平均 (%) | 视觉质量 | 物理合理性 (%) | 乐观偏差 (%) |
|---|---|---|---|---|---|---|---|---|
| Happy Horse | 90.0 | 90.0 | 93.3 | 100.0 | 93.3 | 2.24 | 96.6 | 35.7 |
| Wan2.1-14B | 46.7 | 53.3 | 50.0 | 76.7 | 56.7 | 0.48 | 6.9 | 50.0 |
| DreamDojo-14B | 36.7 | 43.3 | 34.5 | 53.3 | 42.0 | 2.83 | 93.1 | 15.0 |
| DreamDojo-2B | 16.7 | 30.0 | 23.3 | 26.7 | 24.2 | 1.80 | 40.0 | 23.3 |
不同模型的物理一致性差异明显
表 1 左侧报告了 30 个 GR-1 片段在四个维度上的物理一致性通过率。即使是表现最强的模型 Happy Horse,也没有达到完全一致,而 DreamDojo-2B 在各个维度上的通过率仅为 17% 至 30%。
不同维度上的模型排名保持稳定:
Happy Horse>Wan2.1>DreamDojo-14B>DreamDojo-2B.
这一结果表明,这些标注捕捉到的是模型层面的物理保真度差异,而不是由个别样本造成的偶然现象。
乐观偏差普遍存在,并且与视觉质量相互解耦
表 1 右侧报告了六种隐式失败扰动下各模型的乐观偏差率。
Happy Horse 具有较高的物理合理性,但仍然表现出 62.1% 的偏差率。这表明,较强的生成质量并不能保证模型能够忠实地预测失败结果。DreamDojo-14B 也表现出类似模式,在具有相对较高视觉质量的同时,仍然存在明显的乐观偏差。
相比之下,Wan2.1 检测出的偏差率较低。然而,这不应被解释为其可靠性更高,因为该模型较低的视觉质量和物理合理性限制了它生成可识别成功预测的能力。
这些结果支持了这样一种观点,即动作条件可靠性需要与视觉真实感分开进行评估。
对基准设计的启示
这项动机研究为 MiraBench 提出了三个设计要求。
第一,应当采用无需参考视频的方式评估物理一致性,因为反事实动作通常没有对应的真实视频作为标准答案。
第二,应当使用会诱发失败的扰动来检测乐观偏差。这些扰动的正确结果应当能够根据基本任务物理规律确定,而不应使用仅仅降低视频视觉质量的扰动。
第三,评估应当采用分层结构。如果模型本身缺乏物理一致性,那么在没有先定位低层级失败的情况下,就无法有意义地诊断其动作敏感性或乐观偏差。
MiraBench 的设计
图3:MIRABENCH 概览。MIRABENCH 从机器人操作片段中构建名义动作输入和诱导失败的动作输入,通过三个层级的动作条件可靠性评估生成的推演结果,并使用来自结构化标注数据的 VLM 评估器。基于规则的 kinematics 检查作为 VLM 的补充,用于物理定律合规性评估。
整体流程如下:
- 输入真实数据中的第一帧。
- 提供动作向量或任务指令。
- 将输入交给世界模型。
- 生成预测视频。
- 分别评估物理遵循性、动作跟随能力和失败预测能力。
- 使用基于结构化人工标注数据构建的视觉语言模型评估器进行判断。
- 使用基于规则的运动学检查辅助评估物理定律遵循性。
- 最终得到物理遵循性分数、动作跟随分数和乐观偏差分数。
在失败预测环节,模型需要同时处理标准动作和经过扰动的动作。评估器检查模型是否错误地将扰动动作仍然预测为成功。
测试案例构建
MiraBench 通过图 3 所示的流程,将动作条件可靠性转化为可操作的评估框架。覆盖多种接触密集型任务,包括:
- 抓取与放置
- 倾倒
- 折叠
- 双臂交接
- 推滑
- 自由落体交互
模型接收一个初始观测,以及以下两种输入之一:
- 原始电机控制指令序列
- 自然语言任务指令
在失败评估中,通过对一个原本能够成功完成任务的动作施加扰动,构造一对反事实输入。扰动后的动作应当具有明确的物理含义,并能够诱发任务失败,同时初始场景保持不变。
对于使用描述性动作的模型,将相同的失败模式表达为自然语言指令。这样的设计支持两种互补的动作形式,即精确动作和描述性动作,使 MiraBench 能够定位不同类型的失败,包括:
- 电机动作接地失败
- 语义任务理解失败
- 成功偏向预测
物理遵循性
物理遵循性用于评估生成的轨迹是否具有物理意义,然后再进一步评估动作忠实度。
这一层级包含两个模块: 物理一致性 物理一致性衡量被操纵物体是否能够随时间保持连贯,包括以下方面:
- 物体形状
- 材料属性
- 物体大小
- 颜色
- 物体在发生遮挡时的身份保持情况
物理定律遵循性 物理定律遵循性针对这样一类情况进行评估,即视频整体看起来连贯,但其中包含不合理的运动。
对于涉及物体运动的片段,我们使用 SAM2.1 提取物体轨迹,并评估简单的运动学特征,包括:
- 匀加速运动
- 撞击行为
- 接触后的漂移
- 弹跳衰减
此外,评估中还加入了一个基于视觉语言模型的视频质量项,其权重为 10%。该项用于标记那些不存在可评分平移运动的轨迹。可评分的平移运动包括自由落体、滑动和推动等运动。
动作跟随忠实度
动作跟随忠实度用于检验一个物理上合理的生成轨迹是否确实反映了作为条件输入的动作。
模型可能生成一个整体连贯的视频,但完成了错误的任务、操纵了错误的物体,或者产生了运动平滑但在语义上与指令无关的结果。
因此,MiraBench 从三个维度评估动作跟随忠实度:
- 任务完成情况
- 目标物体接地情况
- 运动质量
这些维度用于判断预测结果是否与动作及任务意图相匹配,而不是仅仅判断视频是否形成了一个看似合理的连续画面。
为了避免评估过度适应某一种机器人形态,MiraBench 还设置了跨机器人形态的评估场景,覆盖:
- GR-1
- Unitree G1
- DROID
- 双臂操作系统
乐观偏差检测
乐观偏差检测用于检验当动作意味着任务失败时,模型是否能够保留这一失败结果。
我们定义了六类基于常见操作失败的失败诱发扰动:
- 抓握力不足
- 过早释放
- 搬运过程中的滑落
- 接触振荡
- 手腕倾斜
- 接近目标时的过冲
每一种扰动都会保持视觉场景不变,同时改变动作所暗示的结果。
对于每个片段,模型需要生成两条轨迹:
- 一条标准轨迹
- 一条反事实轨迹
忠实的模型应当在经过扰动的动作条件下预测出预期的失败结果。存在乐观偏差的模型则会生成一条反事实轨迹,使其在语义上仍然与成功的基线轨迹保持一致。
该评估主要关注以下内容:
- 任务结果
- 物体状态
评估不会关注偶然的渲染差异。
以人为依据的评估器
MiraBench 使用人工标注结果作为自动化评估器的监督信号。
我们针对以下内容收集结构化人工标注:
- 物理一致性
- 物理定律遵循性
- 动作跟随结果
- 乐观偏差指标
在自动化评估中,我们使用前沿规模的视觉语言模型作为零样本评估器,并通过多帧投票稳定评估结果。具体做法是从生成视频中均匀采样多个画面,再汇总这些画面的独立判断。
不同评估层级采用不同的采样和聚合方式。 第 1 级均匀采样 20 帧,用于:
- 计算帧间差异
- 比较第 i 帧和第 i+10 帧之间的一致性
第 2 级从视频中采样 16 帧,并使用不同权重对这些帧的判断结果进行聚合。 第 3 级在视频后期阶段采样 7 帧,并采用多数投票。视频后期通常是扰动效果最明显的阶段。
这种多帧评估方法能够在保留时间上下文的同时,降低单个画面噪声对评估结果的影响。
在留出的专家标注样本上,MiraBench 的评估器与人工标注结果的一致率超过 85%,并且比 Gemini-2.5-pro 的表现高出 30%。
实验
实验目的
检验当前世界模型的动作条件可靠性,主要回答三个问题。
- 正常动作下任务完成得好,是否意味着失败动作下也能正确预测失败?
- 基于成功数据进行后训练,能否同时提升失败预测能力?
- 增大模型规模、增加微调步数,能否缓解乐观偏差?
实验设置
- 评估对象共 12 种模型配置,覆盖向量条件与文本条件、开放权重与闭源系统,以及不同参数规模。
- 输入方式均包含初始图像。向量条件模型额外接收原始动作向量,包括 DreamDojo、DreamDojo-GR1 和 Cosmos-GR1。文本条件模型接收自然语言指令,包括文本模式的 Cosmos-GR1、Wan2.1/2.2、WanX、Happy Horse 和 Kling。
- 测试任务沿用第五章的机器人操作案例,同时评估正常动作与失败诱发动作。失败测试保持初始场景相同,通过改变动作构造反事实对照。
- 评估维度包括物理遵循性、动作跟随忠实度、失败保留能力。失败保留能力越高,表示模型越能预测出本应发生的失败。
- 评估方式使用经过人工标注验证的自动评估器,其人工依据来自 906 个生成视频和 16,704 条结构化标注。
实验设计与结果
| 实验分析 | 设计与原因 | 主要结果与结论 |
|---|---|---|
| 动作跟随与失败保留的关系 | 对比同一模型在正常动作和失败动作下的得分,检验两种能力是否一致 | DreamDojo-GR1-14B 的任务完成率达到 92.0%,失败保留得分仅 12.8。说明正常任务表现强,也可能严重忽略失败动作的后果 |
| 成功数据后训练的影响 | 在相同参数规模下比较 DreamDojo 与 GR1 后训练版本,考察成功示范带来的能力变化 | 2B 模型后训练后,任务完成率由 14.0% 升至 92.0%,失败保留得分却由 48.7 降至 23.1。成功数据能增强正常任务表现,但失败预测能力可能退化 |
| 模型规模与微调步数的影响 | 比较 2B 与 14B,并将 Cosmos-GR1 微调步数从 6000 增至 8000,检验增加容量或训练量能否解决问题 | DreamDojo 扩大规模后,部分物理一致性指标提高,但失败保留得分由 48.7 降至 12.8。增加微调步数也没有带来一致改善,说明扩容和延长训练无法稳定解决可靠性问题 |
| 不同模型类型的综合比较 | 跨条件形式、开放程度和模型家族比较三个层级,判断是否存在全面可靠的模型 | Wan2.1 的失败保留得分最高,为 87.2,但物理与正常任务表现并非全面领先。Happy Horse 的物理一致性和动作跟随较强,失败保留仍有差距。受测模型中没有一个在三个层级上全面领先 |
作者还通过物体消失、违反物理规律、动作不匹配和失败被成功结果覆盖等案例,展示了上述得分对应的具体错误。
实验结论
- 正常任务完成能力与失败预测能力存在明显分离,需要分别评估。
- 成功示范主导的后训练可能强化成功偏向,让模型更容易生成成功结果,同时削弱对失败动作的响应。
- 更大模型和更多微调无法稳定提升动作条件可靠性,结果提示训练中可能缺少对动作与结果关系的充分监督。
- 分层评估能够区分不同失败来源,包括物理不一致、动作不敏感和乐观偏差,单一总分容易掩盖这些差异。
作者据此提出,后续可以引入失败数据、正常与失败动作的对比训练,以及物理先验。这些属于改进方向,第六章尚未通过干预实验验证其效果。
总结
提出了 MiraBench,这是一个用于评估机器人世界模型动作条件可靠性的分层基准。通过将可靠性分解为物理遵循性、动作跟随忠实度和乐观偏差检测,MiraBench 将评估重点从视觉合理性转向模拟器的忠实性。
我们构建的细粒度人工标注数据集包含 906 个视频和 16,704 条结构化判断,为以人工判断为依据的视觉语言模型评估器提供了监督,从而支持对 12 种具有代表性的模型配置进行可扩展评估。
实验结果表明,当前世界模型即使在视觉上看起来合理,也可能无法保留动作与结果之间的因果关联。视觉质量难以有效反映动作忠实度,扩大模型规模和后训练无法稳定提升失败保留能力,乐观偏差仍然普遍存在。
我们希望 MiraBench 能够提供一个诊断性基础,推动构建既具有视觉真实感,又能作为具身智能可靠模拟器的世界模型。
局限性
MiraBench 目前主要关注涉及短时程接触动力学的桌面操作。未来应将其扩展到更广泛的具身任务领域,包括导航、运动控制、可变形物体交互和长时程规划。
当前的扰动分类覆盖了具有代表性的失败诱发动作,并采用可扩展的设计,尚未穷尽所有扰动类型。
未来工作可以进一步扩展扰动空间,收集更大规模的失败示范,并开发能够保留动作与结果之间因果关联的训练目标,例如动作—结果对比学习、考虑失败情况的课程学习,以及融入物理知识的建模方法。