Hierarchical Residual Policy Learning for Real-World Mobile Manipulation with Sparse Human Guidance

一句话总结

HiRe-MoMa 冻结原有的基础策略，并在其上加入一个与基础策略架构无关的离策略残差策略，通过强化学习学习对基础动作的加性修正，从而实现真实世界中的移动操作微调。针对移动底盘与机械臂之间容易产生的优化干扰，HiRe-MoMa 将残差分成不同模块，并通过单向条件依赖进行分层解耦，使机械臂的修正能够根据底盘的修正进行调整。此外，系统利用少量人类遥操作干预来进行专家引导的价值对齐，重塑评价器的价值分布，使策略更倾向于专家认可的行为，同时继续保留自主探索能力。

摘要

移动操作（Mobile Manipulation，MoMa）是自主机器人系统的基石，然而由于动作空间维度高，且异构模块之间存在复杂的耦合关系，在真实世界中对其进行微调仍然是一项艰巨的挑战。

提出了 HiRe-MoMa（Hierarchical Residual Mobile Manipulation，分层残差移动操作），这是一套系统性框架，旨在实现复杂移动操作系统在真实世界中的稳定、高样本效率微调。

核心是分层残差架构，它在保持基础策略冻结的情况下进行微调。 策略无关残差模块在基础策略之上学习加性修正；分层解耦机制则将残差分为移动底盘和机械臂两个输出头，并通过单向条件依赖将二者连接起来，从而减轻梯度干扰，使修正方式与机器人平台的物理层级结构保持一致。

提出了专家引导的价值对齐方法，利用覆盖不足 20% 训练过程的稀疏人工干预，重塑评价器的价值分布，从而通过专家先验有效引导自主探索。仅通过约 30 分钟的在线交互，持续提升任务表现。

本研究属于首批能够在真实世界中，直接在机器人上对移动操作策略进行高效微调的框架之一，为在动态、以人为中心的环境中部署复杂机器人系统提供了一种实用范式。更多细节可参见项目网站。

引言

图1：HiRe-MoMa系统概览。(a) 训练范式：一种真实世界双单元配置，由用于实时交互的机载控制器和用于策略优化与动作预测的计算单元组成。(b) 协调执行：红色虚线表示基座与机械臂同步所需的严格时空精度。在移动操作中，微小的跟踪偏差往往会被运动学耦合放大，导致即使是常规抓取操作也会失败。

近期研究利用视觉语言模型（VLM）进行语义推理，利用生成式建模实现鲁棒的模仿学习，并通过从仿真到现实的强化学习获取技能。 后训练或微调对于弥合这一性能差距至关重要。尽管微调已在单独的操作任务或运动任务中取得成功，但其在移动操作这一高维、耦合领域中的应用，仍基本有待探索。

• 模仿学习（IL），尤其是基于 DAgger 的方法，提供了直接的优化目标，但其受到专家数据天然稀缺以及缺乏自主探索能力的限制。泛化能力有限，并在部署时出现误差累积
• 强化学习（RL）能够支持更广泛的状态空间探索，但与现代生成式基础策略结合时，会面临重大障碍：这些策略的对数似然难以计算，因此无法直接使用标准策略梯度方法。

残差强化学习通过在冻结的基础策略之上学习加性修正，实现与模型架构无关的适应，为上述问题提供了一条有前景且实用的折中路径。 将其扩展到移动操作时，会引入一个独特挑战：模块间耦合————高维动作空间和非平稳的模块间动力学往往会阻碍收敛，并最终使系统无法达到物理交互所要求的精度。 即————底盘、机械臂和夹爪的动作维度较多，而且底盘与机械臂之间的配合关系会随着运动而改变，因此训练策略更难收敛，也更难达到真实操作所需的精度。

提出了 HiRe-MoMa（Hierarchical Residual Mobile Manipulation，分层残差移动操作），这是一套用于移动操作系统真实世界微调的框架，包含三个核心组成部分：

• 策略无关残差学习范式，在冻结的基础策略之上添加可学习的残差，从而绕开生成式架构中难以计算对数似然的问题，使同一套流程能够用于改进多种预训练策略。
• 具有单向条件依赖的分层解耦结构，解决移动操作中特有的底盘与机械臂耦合问题。机械臂的残差输出头以底盘的修正量作为条件，体现系统的物理层级关系。
• 专家引导的价值对齐损失利用稀疏人工干预，重塑评价器的价值分布，使其倾向于专家偏好的行为，在不取代强化学习探索的前提下提高样本效率。

HiRe-MoMa 在单台机器人上实现为一个异步的执行器—学习器系统：机载交互进程执行策略，而中央学习器在工作站上优化残差，从而实现在真实世界中直接对机器人进行微调。

主要贡献如下：

1. 系统化微调框架： 提出了一套异步、与模型架构无关的框架，用于移动操作系统的真实世界微调。该框架仅需 25～40 分钟的在线交互，就能在这一高维、耦合的机器人领域中实现高效适应。
2. 分层残差架构： 针对不同模块引入独立的残差策略，并通过单向条件依赖机制将其耦合，以确保协同控制的稳定性和逻辑一致性。
3. 专家引导对齐： 设计了一种辅助性的人工干预对齐损失，利用稀疏专家指导——占所采集数据的比例不超过 20%——提高样本效率并加速收敛。
4. 多种移动操作任务上的实证验证： 在 TIAGo++ 平台上，通过三个复杂度逐步增加的真实世界任务验证了 HiRe-MoMa，结果表明，该方法能够在两种不同的基础策略架构——扩散策略（Diffusion Policy）和 ACT——上持续带来性能提升。

问题定义

研究在非结构化真实世界环境中，针对复杂机器人任务对预训练基础策略 $\pi^{\mathrm{base}}$ 进行微调的问题。

通过模仿学习进行的监督微调（Supervised Fine-Tuning，SFT）能够提供稳定的收敛路径，但其有效性从根本上受限于预先采集的示范数据的覆盖范围和质量

强化学习（Reinforcement Learning，RL）能够通过主动探索突破静态数据集的限制，从而提升策略的鲁棒性和任务执行能力。 对于移动操作机器人这类高维系统而言，这种在线优化尤为重要，因为传统的零样本迁移通常会在实际部署阶段留下持续存在的性能差距。

将这一微调过程形式化为一个部分可观测马尔可夫决策过程（Partially Observable Markov Decision Process，POMDP），其定义为：

$$\mathcal{M}=(\mathcal{S},\mathcal{A},\mathcal{O},\mathcal{P},\mathcal{R},\gamma).$$

其中：

• $\mathcal{S}$ 表示底层环境的隐藏状态；
• $\mathcal{A}\subseteq\mathbb{R}^{d}$ 表示高维连续动作空间，例如关节速度或笛卡尔空间位姿；
• $\mathcal{O}$ 表示观测空间，其中包含多模态传感器输入，包括 RGB 图像和机器人本体感知信息；
• 转移动力学 $\mathcal{P}(s'|s,a)$ 由真实世界中的物理交互所决定。

为了减少奖励设计工作，同时保持方法与具体任务无关，我们采用稀疏二值奖励函数：

$$\mathcal{R}(s,a)\in\{0,1\},$$

其中，1 表示任务成功，0 表示任务未成功。 我们的目标是优化策略 $\pi$，使其最大化期望累积折扣回报：

$$J(\pi)=\mathbb{E}_{\tau\sim\pi} \left[ \sum_{t=0}^{\infty}\gamma^t\mathcal{R}(s_t,a_t) \right],$$

其中，$\gamma\in(0,1)$ 为折扣因子。 这一形式化过程推动策略朝着更高的任务成功率和更优的时间效率进行改进，从而提升其在真实世界执行过程中的表现。

方法

图2：HiRe-MoMa 框架通过异步残差强化学习范式，实现移动机械臂的策略无关真实世界微调。（右）共享控制 Rollout：机载 rollout 工作器用一个冻结的基座策略并附加可学习残差；在关键或危险阶段出现的稀疏人类干预被存入专家缓冲区。（左）异步中央学习器：残差策略沿两大支柱进行优化：a）分层残差架构（第4.1节），将残差解耦为移动基座头和机械臂头，并采用单向条件，从而将平台的物理层级直接嵌入策略；b）专家引导价值对齐损失（第4.2节），将稀疏环境奖励与稀疏人类修正相融合，以重塑 critic，使其偏向专家偏好的行为。

HiRe-MoMa（Hierarchical Residual Mobile Manipulation，分层残差移动操作）是一套与模型架构无关的框架，旨在通过人机交互实现稳定的真实世界适应，如图 2 所示。该框架包含三个组成部分：

1. 策略无关残差： 在冻结的基础策略 $\pi^{\mathrm{base}}$ 之上学习加性修正，并且不对基础策略的结构作任何假设；
2. 分层解耦机制： 通过施加符合系统物理层级结构的单向依赖，减轻异构模块（例如移动底盘和机械臂）之间的优化干扰；
3. 专家引导的价值对齐损失： 利用稀疏的人类干预来重塑评价器的价值分布，从而在安全进行真实世界探索的同时提高样本效率。

分层残差架构

策略无关残差学习

为了使方法能够适用于任意基础策略 $\pi^{\mathrm{base}}$，我们引入一个辅助残差策略 $\pi_{\theta}^{\mathrm{res}}$，用于在冻结的基础策略之上预测加性修正。

机器人执行的动作是

$$a_t^{\mathrm{exe}} = a_t^{\mathrm{base}} + a_t^{\mathrm{res}}$$

也就是说

$$\text{执行动作} = \text{基础动作(原模型}\pi^{\mathrm{base}} \text{)} + \text{修正动作(残差模型，即}\pi_{\theta}^{\mathrm{res}} \text{)}$$

$o_t$：时刻 $t$ 的观察，例如相机图像、机器人关节角度、底盘位置等； $a_t$：机器人动作，例如底盘速度、机械臂关节运动、夹爪开合； $r_t$：执行动作后得到的奖励，例如抓取成功获得正奖励，碰撞或失败获得负奖励； $o_{t+1}$：执行动作后获得的新观察； $\mathcal P$：环境的转移规律，即当前状态和动作会导致什么下一个状态。

采用基于离策略、基于价值的学习范式，并利用时序差分（Temporal Difference，TD）学习。为了稳定价值估计并减轻不稳定的探索行为，使用由多个评价器中最小值构成的保守目标来优化 $Q_\phi$$Q_\phi(o_t,a_t)$ 表示：在当前观测 $o_t$ 下执行动作 $a_t$，从现在开始预计能够获得多少未来回报。

$$Q_\phi(o_t,a_t) \leftarrow r_t+ \gamma\mathbb{E}_{o_{t+1}\sim\mathcal{P}} \left[ Q_{\phi'}(o_{t+1},a_{t+1}^{\mathrm{exe}}) \right]，$$

即：$\text{当前动作的价值}=\text{当前立即奖励}+\text{未来动作的价值}$ 其中，

$$a_{t+1}^{\mathrm{exe}} = a_{t+1}^{\mathrm{base}} + \pi_\theta^{\mathrm{res}} \left(o_{t+1},a_{t+1}^{\mathrm{base}}\right). \tag{1}$$

残差策略通过最大化期望回报进行优化，同时借助熵正则化 $\mathcal{H}$(保留一定随机性)，使其保持在基础策略轨迹附近：

$$\mathbb{E}_{\pi_\theta^{\mathrm{res}}} \left[ Q_\phi(o_t,a_t^{\mathrm{exe}}) \right] + \alpha \mathcal{H} \left( \pi_\theta^{\mathrm{res}}(\cdot|o_t) \right),$$

其中，

$$a_t^{\mathrm{exe}} = a_t^{\mathrm{base}} + \pi_\theta^{\mathrm{res}} \left(o_t,a_t^{\mathrm{base}}\right). \tag{2}$$

这里，$\alpha$ 是自适应温度参数。为了稳定探索，并防止修正量超出残差模块的能力范围，我们施加约束：

$$\left\|a^{\mathrm{res}}\right\|\leq \epsilon, \qquad \epsilon\in(0,1].$$

由此得到的残差策略 $\pi^{\mathrm{res}}$ 与基础策略 $\pi^{\mathrm{base}}$ 的具体架构无关，因此能够灵活适用于不同的机器人平台。

分层解耦

移动操作要求移动底盘、机械臂和躯干等异构模块之间进行高维协同。 如果将联合动作空间视为一个整体输出，这些模块的梯度就会相互耦合，从而导致优化过程受到干扰并变得不稳定。

移动操作任务天然具有单向的模块间依赖关系：机械臂的到达动作取决于移动底盘的位置，而移动底盘的运动通常不反过来取决于机械臂的到达动作。

基于模块化残差设计，首先将动作空间解耦为彼此独立的组成部分，表示为：

$$a^{\mathrm{res}} = \left[ a_{\mathrm{mo}}^{\mathrm{res}}, a_{\mathrm{ma}}^{\mathrm{res}} \right],$$

其中，$a_{\mathrm{mo}}^{\mathrm{res}}$ 和 $a_{\mathrm{ma}}^{\mathrm{res}}$ 分别表示移动底盘和机械臂的残差动作。这种分解通过降低模块之间的优化冲突，减轻了高维强化学习中固有的梯度干扰，这对于保证训练稳定性至关重要。

在每个时间步 $t$ 通过单向条件依赖对模块间关系进行编码：

$$a_{t,\mathrm{mo}}^{\mathrm{res}} = \pi_{\theta_{\mathrm{mo}}}^{\mathrm{res}} \left( o_t,a_{t,\mathrm{mo}}^{\mathrm{base}} \right) \;\longrightarrow\; a_{t,\mathrm{ma}}^{\mathrm{res}} = \pi_{\theta_{\mathrm{ma}}}^{\mathrm{res}} \left( a_{t,\mathrm{mo}}^{\mathrm{res}}, o_t, a_{t,\mathrm{ma}}^{\mathrm{base}} \right). \tag{3}$$

我们将移动底盘修正量 $a_{t,\mathrm{mo}}^{\mathrm{res}}$ 视为机械臂策略 $\pi_{\theta_{\mathrm{ma}}}^{\mathrm{res}}$ 及其对应评价器 $Q_{\phi_{\mathrm{ma}}}$ 的上游条件信息，由此施加一个单向的结构约束，使其符合系统的物理耦合关系。

该设计通过使机械臂的修正与机器人平台不断变化的坐标系保持一致，减轻了移动操作联合训练中的非平稳性，从而实现更加协调的模块协作和更加稳定的收敛过程。

专家引导的价值对齐

即使已经限制了残差空间，真实世界移动操作的高维动作空间和高昂探索成本仍然会给标准强化学习带来显著挑战。为了加速收敛并提高安全性，我们通过共享控制范式将人类交互纳入训练过程。

在人类专家介入时，可以在关键阶段或高风险阶段提供修正指导，这些干预会被存储在专门的干预缓冲区中。训练期间，我们从自主探索缓冲区和人工干预缓冲区中进行平衡采样，使智能体的学习过程与专家先验保持一致。

没有采用直接的动作模仿，例如行为克隆（Behavior Cloning），因为这类方法容易受到遥操作噪声的影响。

利用人类修正来重塑价值分布 专家引导评价器对齐模块：在 $Q_\phi$ 上引入一个辅助监督目标，从而提供稳定且保守的训练目标。

$a_t^{\mathrm{res}}$：机器人自主探索得到的残差动作； $a_t^h$：人类专家提供的修正动作； $Q_\phi(o_t,a_t^{\mathrm{res}})$：评价器对自主动作的评分； $Q_\phi(o_t,a_t^h)$：评价器对专家动作的评分。

该目标函数最小化如下的偏好损失：

$$\lambda_{\mathrm{imi}} \mathbb{E}_{o_t,a_t^{\mathrm{res}},a_t^{h}} \left[ \log \left( 1+ \exp \left( Q_\phi(o_t,a_t^{\mathrm{res}}) - Q_\phi(o_t,a_t^{h}) \right) \right) \right]. \tag{4}$$

其中，$a_t^{h}$ 表示由人工干预策略 $\pi^{\mathrm{res},h}$ 产生的专家修正动作，$\lambda_{\mathrm{imi}}$ 用于调节辅助监督信号的权重。

这一形式化方法鼓励评价器对人类动作给出较为乐观的估计，同时对智能体自主探索得到的动作保持较为保守的估计。

实验

论文通过真实机器人上的三类移动操作任务，验证 HiRe-MoMa 是否能够在少量人类干预和 25–40 分钟在线交互下，提升任务成功率、缩短执行时间，并适用于不同的基础策略架构。实验结果表明，性能提升主要来自“分层解耦”，而“专家引导的价值对齐”进一步提高了成功率、减少了人工干预和无效探索。

问题

论文围绕四个问题设计实验：

• RQ1：整体性能与泛化性 HiRe-MoMa 是否比已有残差微调方法更有效，并且不依赖特定基础策略架构？
• RQ2：分层结构是否有效 将移动底盘和机械臂的残差拆开，并让机械臂残差依赖底盘残差，是否能提升成功率、缩短任务执行时间？
• RQ3：专家引导的价值对齐是否有效 在分层解耦的基础上加入价值对齐损失，是否能够进一步提高样本效率和最终性能？
• RQ4：残差是否具有可解释性 学到的残差修正是否对应真实的物理误差和关键运动阶段，而不是随机扰动基础策略？

实验平台与硬件设置

机器人平台

实验使用 TIAGo++ 移动操作机器人，包括：

• 移动底盘；
• 两个 7 自由度机械臂；
• 可升降躯干；
• 带 RGB 摄像头的头部。

主实验中躯干和头部保持固定，重点研究移动底盘与机械臂之间的协同问题。

基础动作空间由三部分组成：

• 移动底盘：3 维速度；
• 机械臂：6 维末端执行器位姿增量；
• 夹爪：1 维开合动作。

不同任务使用其中的不同子集。典型的单臂任务为 10 维动作，双臂任务动作维度更高。

观测主要包括：

• 头部 RGB 图像，分辨率为 $208\times160$；
• 约 20 维本体感知信息；
• 机器人当前状态和动作相关信息。

所有连续动作都归一化到 $[-1,1]$，残差动作的范数限制为：

$$\|a^{\mathrm{res}}\|\leq \epsilon,\qquad \epsilon=0.3.$$

这意味着 HiRe-MoMa 只能对基础策略进行有限修正，而不能完全替代基础策略。

人机交互接口

人工干预通过 Meta Quest 3 遥操作接口完成：

• 操作者可以控制移动底盘速度；
• 可以控制机械臂末端执行器的位姿增量；
• 人类动作拥有最高优先级，会暂时覆盖残差策略；
• 干预数据被存储到单独的专家缓冲区。

为了确保比较公平：

• 所有方法使用同一名操作者；
• 操作者不知道当前训练的是哪种方法；
• 所有方法使用相同的干预协议；
• 人类干预只在失败仍然可以挽救的阶段发生，例如夹爪即将释放但位置偏差较大。

这类设计是为了避免“某种方法得到更多人工帮助”而造成结果偏差。

异步训练结构

训练采用分布式异步结构：

• Rollout Worker：运行在机器人上，以 10 Hz 执行策略并收集数据；
• Central Learner：运行在工作站上，使用离策略 SAC 更新策略和评价器；
• Inference Node：持续提供冻结基础策略的动作预测；
• 机器人和工作站通过 TCP/IP 通信；
• Rollout Worker 每收集约 50 个环境步后，与中央学习器同步一次。

这种设计的原因是：

1. 机器人端需要低延迟执行；
2. 策略更新计算量较大，不适合全部放在机器人上；
3. 采集数据和更新模型可以并行进行；
4. 更接近真实部署中的在线微调场景。

对比方法与实验设计原因

主实验中，所有方法都使用冻结的 Diffusion Policy（DP）作为基础策略。

Base：冻结基础策略

Base 不进行微调，直接执行预训练 DP。 它用于回答： 只依靠预训练策略，在真实世界中能达到什么水平？

+HG-DAgger：基于人工修正的监督残差

该方法使用人类修正动作，通过均方误差学习残差。 它代表一种直接的“模仿人工干预”方案，用于回答： 如果把人类干预直接当作监督信号，是否足以完成真实世界微调？

论文认为它可能存在两个问题：

• 人类干预数据较少；
• 直接模仿容易过拟合遥操作噪声；
• 缺乏自主探索能力；
• 只能学习操作者实际覆盖到的状态。

+Flat Residual：平坦残差强化学习

该方法使用一个统一残差向量，通过离策略强化学习学习所有动作维度。 它相当于 HIL-SERL Residual 的设置，用于回答： 单纯使用残差强化学习，但不加入分层结构，能否解决移动底盘和机械臂之间的耦合？

它保留了残差强化学习的优点，但没有区分移动底盘和机械臂，也没有设置单向条件依赖。

HiRe-MoMa Full

完整方法依次包含：

1. 平坦残差；
2. 分层解耦；
3. 专家引导的价值对齐。 完整 HiRe-MoMa 用于验证论文提出的整体设计。

ACT 基础策略实验

为了验证“策略无关性”，论文又使用 ACT 作为基础策略进行实验。 如果 HiRe-MoMa 只能适用于 DP，而无法适用于 ACT，那么它就不是一个真正与策略架构无关的方法。因此，ACT 实验主要验证：

分层残差和价值对齐机制是否能够迁移到另一种完全不同的策略架构？

主比较实验：整体性能

DP 基础策略上的结果

任务	Base 成功率	+HG-DAgger	+Flat Residual	HiRe-MoMa
Place Only	50.0%	10.0%	60.0%	95.0%
Sweep Litter	45.0%	5.0%	40.0%	90.0%
Pick Place	22.5%	5.0%	27.5%	40.0%
平均	39.2%	6.7%	42.5%	75.0%

方法	平均 episode 长度
Base	455.0 步
+HG-DAgger	546.7 步
+Flat Residual	457.3 步
HiRe-MoMa	352.7 步

HiRe-MoMa 将平均执行长度从 455.0 步降低到 352.7 步，相当于约 1.29 倍的执行效率提升。 这说明 HiRe-MoMa 不只是“更容易成功”，而且成功时需要的动作步数也更少。

按任务来看：

• Place Only：50% → 95%；
• Sweep Litter：45% → 90%；
• Pick Place：22.5% → 40%。

论文给出的总体结论是：在 25–40 分钟真实世界在线交互后，HiRe-MoMa 能显著提升三个任务的表现。

为什么 HG-DAgger 反而变差

+HG-DAgger 的平均成功率只有 6.7%，甚至显著低于没有微调的 Base。 论文将这一结果归因于：

• 人类干预数据稀疏；
• 直接拟合人类动作容易过拟合；
• 遥操作存在噪声；
• 人类只在部分失败状态下介入，数据分布不完整；
• 模仿学习缺乏自主探索；
• 错误可能在部署中累积。

这说明“有人工干预”并不等于“直接模仿人工干预就有效”。

为什么 Flat Residual 提升有限

+Flat Residual 的平均成功率只有 42.5%，相较 Base 的 39.2% 仅有小幅提升。 在 Sweep Litter 上，它甚至从 45% 降到 40%。 主要原因是：

• 底盘和机械臂被放在同一个残差向量中；
• 各动作维度共享一个整体优化目标；
• 不同模块的梯度会相互干扰；
• 底盘动作和机械臂动作之间的物理依赖没有被显式建模；
• 统一残差难以处理非平稳的模块间动力学。

因此，论文的核心观点是：对移动操作而言，仅仅增加残差还不够，还需要使用符合机器人结构的残差组织方式。

ACT 实验：策略无关泛化

任务	ACT Base	HiRe-MoMa
Place Only	40%	80%
Sweep Litter	40%	75%
平均	40.0%	77.5%

平均成功率从 40.0% 提升到 77.5%，相对提升约 94%。 episode 长度从 371.5 步降低到 300.0 步，执行效率约提升 1.24 倍。

该实验的意义在于：

• HiRe-MoMa 不依赖 Diffusion Policy 的内部结构；
• 只要基础策略能够输出动作，残差模块就可以在其上进行修正；
• 方法的有效性主要来自残差学习和模块层级结构，而不是某个特定基础策略的特性。

不过，ACT 实验只报告了 Place Only 和 Sweep Litter，没有覆盖 Pick Place。论文因此主要用它证明跨架构泛化，而不是重新完整评估所有任务。

组件消融

论文采用逐步加入组件的 build-up 设计：

1. Flat Residual；
2. Flat Residual + Hierarchical Decoupling；
3. Flat Residual + Hierarchical Decoupling + Alignment。

方法	Place Only	Sweep Litter	平均
Flat Residual	50% → 60%	45% → 40%	47.5% → 50.0%
+Hierarchical Decoupling	50% → 85%	45% → 85%	47.5% → 85.0%
+Alignment	50% → 95%	45% → 90%	47.5% → 92.5%

方法	平均 episode 长度
Flat Residual	350.5 → 361.5
+Hierarchical Decoupling	350.5 → 293.5
+Alignment	350.5 → 253.0

进一步拆分：分解和条件依赖谁更重要

论文还把 Hierarchical Decoupling 拆成两个部分：

1. Decomposition： 把一个整体残差拆成底盘和机械臂两个残差头；
2. Unidirectional Conditioning： 让机械臂残差以底盘残差为条件。

方法	Place Only	Sweep Litter	平均
Flat Residual	50%	45%	47.5%
+Decomposition Only	80%	75%	80.0%
+Hierarchical Decoupling	85%	85%	85.0%

episode 长度平均为：

• Flat Residual：350.5 步；
• Decomposition Only：306.5 步；
• Hierarchical Decoupling：293.5 步。

分解是主要收益来源 单向条件依赖提供额外收益

总结

本文提出了 HiRe-MoMa，这是一套面向真实世界移动操作的残差微调框架。该框架结合了以下三个部分：

• 与基础策略架构无关的残差学习；
• 带有单向条件依赖的分层解耦机制；
• 专家引导的价值对齐损失。

局限性

实验只覆盖了一个机器人平台（TIAGo++），每种条件下仅进行 20 次试验，也没有进行随机种子扫描；此外，Pick Place 任务的性能仍受到平台硬件的限制。

两个残差头共享同一个稀疏奖励，并没有采用显式的分层信用分配机制。因此，机械臂失败以及人类辅助完成的成功样本，可能会对底盘评价器产生偏差。

训练过程还需要使用一个由机器人成功在线执行轨迹构成的小型预热缓冲区。

最后，每次训练运行都需要一名监督操作员参与，因此当前策略还无法在人类周围进行可靠的无监督部署。 未来的工作包括：

• 研究结合多模态传感的丰富接触任务；
• 设计更复杂的模块间结构；
• 在更多机器人平台上进行验证。

贡献者: Aliveriver

下一页OpenCode 新手上手教程：CLI 与 Desktop