AliveRiver

外观

ASPIRE论文笔记

约 3265 字大约 11 分钟

VLALLMAgentic DebuggingRobot

2026-07-06

Nvidia官网展示

一句话省流

ASPIRE并未提出新的底层控制模型，而是提出了一套将软件工程Agentic Debugging思想引入机器人学的持续学习框架。它通过细粒度执行轨迹让LLM自主调试代码，并将修复策略沉淀为可跨任务、跨实体迁移的技能库。该框架在多个基准上取得了远超VLA和传统编码代理的优异成绩，并首次验证了模拟技能向真实机器人的有效迁移，尽管目前仍受限于大模型成本及真实环境闭环等问题。

主要框架图

框架图图 1：Aspire 系统概述。 协调器（coordinator）为每个任务生成一个行动者智能体（actor agent，即编码智能体），从而实现跨任务的并行学习。每个行动者通过与机器人执行引擎(Robot Execution Engine)进行迭代调试来完善和验证机器人程序，该引擎会公开每个原语（per-primitive）的多模态追踪数据，以用于故障归因和修复。进化搜索对多样化的候选程序 (π0,...,πk)(\pi_{0}, ..., \pi_{k}) 进行采样，将它们依次送入引擎，并基于存活的程序和残留的故障追踪数据来生成下一代 (π0′,...,πk′)(\pi_{0}', ..., \pi_{k}')。协调器将经过验证的修复结果写入共享的技能库中，未来的行动者可以将其作为上下文指导进行检索；在模拟环境（sim）中发现的技能也可以被调整为跨实体（cross-embodiment）的指导，用于真实机器人的编程。

方法

Aspire 包含三个组件，这些组件共同构成一个开放式学习循环：（1）机器人执行引擎(Robot Execution Engine)，该引擎提供每个原语的多模态轨迹以进行故障归因，并执行智能体编写的修复以完成闭环验证；（2）技能库，该库将经过验证的修复积累为可复用技能；（3）进化搜索流程，该流程将探索范围拓展至单轨迹修复之外。随着 Aspire 遇到更多任务，其技能库不断扩充，使后续任务能够继承已积累的修复方法和可复用策略。

Robot Execution Engine

这篇工作想实现LLM自主调试代码并debug机器人，但现有问题————缺少debug信息，而且有一个两难问题：“如果提供的信息过少，就可能隐藏真正导致失败的执行步骤；而如果提供过多未经处理的视觉信息，又容易使代理难以找到真正导致失败的因果链条”。

机器人执行引擎就是解决这些问题的————在机器人执行过程中，为每一个感知（Perception）、运动规划（Planning）以及控制（Control）操作记录细粒度的多模态执行轨迹（Per-Primitive Multimodal Traces），随后将这些轨迹提供给编码代理（Coding Agent），并负责执行代理修改后的程序，从而形成闭环验证（Closed-loop Validation）

对于每一次底层操作（Primitive Call），执行引擎都会记录：

被调用的 API；
API 的输入参数（Inputs）；
API 的输出结果（Outputs）；
返回状态（Return Status）；
与该操作相关的多模态信息，包括：
RGB 图像关键帧（RGB Keyframes）；
可视化叠加信息（Visual Overlays）；
抓取候选（Grasp Candidates）；
物体位姿（Object Poses）；
运动规划结果（Motion Planning Results）等。

实例

Skill Library

技能库（Skill Library）并不是存储完整的机器人程序，而是存储各种类型的可复用修复知识（Reusable Repair Knowledge），包括：

定位（Localization）启发式策略；
感知提示（Perception Prompts）；
抓取约束（Grasping Constraints）；
导航恢复策略（Navigation Recovery Strategies）；
运动原语（Motion Primitives）；
场景理解（Scene Understanding）方法；
调试工作流程（Debugging Workflows）等。

是通过LLM经过debug且验证过之后才会将有普适性的知识提炼成skill

每一项技能都会以一种紧凑的上下文提示（In-Context Guidance）形式保存，其中包括：

失败模式（Failure Signature）；
适用条件（When-to-Apply Condition）；
修复策略（Repair Strategy）；
当有必要时，还会附带具有代表性的代码示例（Representative Code Sketch）

进化搜索（Evolutionary Search），用于扩展机器人程序的搜索空间，鼓励代理尝试更加多样化的修复方案与任务策略————让LLM不要钻牛角尖。

进化搜索优化的对象并不是 Prompt，而是机器人程序（Robot Program）本身。所有候选程序都会经过真实执行进行评估（Closed-loop Execution）。

当搜索结束后，只有那些：在调试环境中成功解决问题、能够在不同环境配置以及不同任务之间表现出良好泛化能力的修复模式，才会被提炼出来，并加入技能库。

整个搜索过程会在以下两种情况下终止：

  1. 某一个候选程序已经成功解决调试配置中的任务（达到预设成功阈值）；
  2. 搜索预算（Search Budget）已经耗尽。

论文中的算法1对整个进化搜索流程进行了形式化描述，其流程如下：

  1. 首先执行初始程序，并记录执行结果与执行轨迹；
  2. 将当前程序加入历史记录；
  3. 每轮根据已有历史记录和技能库生成 K 个新的修复方案；
  4. 对所有候选程序分别执行并收集执行轨迹；
  5. 更新历史记录，并保留当前表现最好的程序；
  6. 如果已经达到成功阈值，则提前结束搜索；否则继续进入下一轮搜索；
  7. 搜索结束后，在验证集（Validation Set）上再次验证最佳程序；
  8. 从整个搜索过程中提取已经验证有效、具有可迁移价值的修复模式（Validated Patterns）；
  9. 最终返回：最优机器人程序（Best Program）；最终验证结果（Validation Performance）；新发现的可复用技能（New Skills）。

实验

实验设置

模拟环境编码代理：统一使用 Claude Code（基于 Claude Opus 4.6），上下文窗口为 1M tokens。

编程框架：基于 CaP-X（开源代码即策略框架，运行于 MuJoCo Playground 之上），提供统一的感知、几何、运动规划 API。

真实机器人实验：使用 OpenAI Codex GPT-5.5（开启 reasoning-xhigh 模式），部署在 双人 YAM 操作站 上，用于评估模拟技能的跨实体迁移效果。

评估标准

使用以下测试数据集：

  1. LIBERO-Pro：短时程鲁棒性操作，包含物体位姿扰动（Object）、目标语义扰动（Goal）、空间关系扰动（Spatial）。
  2. Robosuite：接触丰富型单臂/双臂操作（如双人交接、拧螺母）。
  3. BEHAVIOR-1K：长时程家庭移动操作（导航 + 抓取，选“取易拉罐”和“取收音机”两个代表性任务）。

对比基准 (Baselines)：

编码智能体：主要对比了 CaP-Agent0（使用视觉差异、预定义技能库和测试时重试机制）。
端到端 VLA 模型：对比了 OpenVLA、$\pi_0$ 以及最新的 $\pi_{0.5}$。
人类专家：在某些长视距任务中对比了人类编写的程序。

实验如何进行

ASPIRE 和所有模拟基准（如 CaP-Agent0）都统一使用了底层大模型 Claude Opus 4.6，相同的沙盒环境，以及同一套机器人感知和运动 API 。它们需要根据任务指令，各自独立编写并调试代码。

ASPIRE： ASPIRE 只被允许在一小部分“调试集”（例如随机种子 51-65）上进行试错、分析追踪日志，并将修复经验存入技能库 。调试结束后，它针对该任务生成唯一的一套最终程序 。 进入“测试集”考核时（例如随机种子 1-50），ASPIRE 不能再进行任何调试和重试。它必须用这套写死的代码，直接应对 50 种未见过的环境变化（如物体位置改变、颜色干扰等）。 CaP-Agent0： 作为对比基准，CaP-Agent0 由于没有经验积累机制，它在应对“测试集”时，被允许为每一个特定的测试环境重新生成一套代码，并且在测试现场利用视觉差异进行推理和重试（test-time reasoning and retries）。

结果

基线对比

alt text ASPIRE 在所有基准测试中均显著超越了现有方法，部分任务甚至超过了人类专家编写的程序： LIBERO-Pro (抗干扰能力)：相比于最强的基准模型，ASPIRE 在物体扰动 (Object) 上提升了 77%，在目标扰动 (Goal) 上提升了 41.5%，在空间扰动 (Spatial) 上提升了 42.5%。而最强的端到端模型 π0.5\pi_{0.5} 面对任务指令改写时性能几乎崩溃。 Robosuite (密集接触)：在保持简单任务高成功率的同时，将极具挑战性的“双臂交接 (bimanual handover)”任务的成功率从 20% 大幅提升至 92%。 BEHAVIOR-1K (长视距任务)：在导航和任务执行成功率上均优于人类专家和 CaP-Agent0。例如，“导航并拾取收音机”任务的成功率从 56% 飙升至 88%。

零样本迁移

alt text 利用完整的技能库（90个任务积累），ASPIRE 在位置扰动和任务扰动下分别达到了 23% 和 38% 的成功率。 相比之下，严重依赖测试时重试的 CaP-Agent0 和 π0.5\pi_{0.5} 的成功率极低（约 4% 左右）。 实验图表（Fig 5b）明确显示，随着技能库中积累的技能数量增加，零样本迁移的成功率呈现稳步上升趋势。

真实机器人迁移

alt text

实验将 ASPIRE 在 Franka 模拟器中发现的 3 个技能，作为上下文提示（Prompt）直接提供给真实世界中形态完全不同、API 也不同的双臂 YAM 机器人：

  1. 降低成本：拥有技能指导后，真实机器人在调试代码时消耗的 Token 数量大幅减少。例如“拿起易拉罐”任务，所需 Token 几乎减少了一个数量级。

  2. 突破瓶颈：在极具挑战的“推拉抽屉”任务中，没有技能指导的智能体把 Token 预算耗尽了也无法成功一次（0/20）；而在模拟器技能的指导下，成功率达到了 11/20。

消融实验

alt text

机器人执行引擎：提供了最大的性能飞跃，将基础系统的平均成功率从 14% 提升到了 62%。

进化搜索：在引擎的基础上，进一步解决了剩余的困难任务，将最终成功率推高至 72%。进化搜索在最初的几轮迭代中进步最快，随后呈现边际效益递减。

局限

  1. 尚未实现现实世界的“完全自主终身学习”：在模拟器中，重置场景和判断任务是否成功非常廉价且容易代码化；但在现实世界中，机器人需要复杂的安全监控、自动重置机制和硬件校准。目前系统还没有完全闭环，从仿真到现实 (sim-to-real) 的规模化迁移仍需努力。

  2. 极度依赖最前沿的顶级大模型：整个系统目前强绑定了拥有 100 万 token 上下文窗口的 Claude Opus 4.6 大模型。作者坦言，尚未验证那些参数更小或能力较弱的 LLM 是否也能扛得住这种高强度的“写代码-找Bug”循环。

  3. 受限于预定义的 API：ASPIRE 只能使用人类预先写好的感知和控制 API。如果一个任务需要超出这些 API 范围的特殊动作，智能体目前只能笨拙地近似模拟，或者求助人类添加新接口。未来的系统需要研究如何让智能体安全地“自己发明并验证”新的底层原语。

  4. 技能库的“长期记忆管理”面临挑战：随着机器人学到的技能越来越多，技能库里可能会堆积一些过时、过于特殊、重复或相互冲突的经验（这解释了为什么在某些零样本测试中，成功率不是直线上升的）。系统还需要引入更强大的检索、修剪、排序和重新验证机制。

  5. 算力与运行成本极高：不断地生成候选代码、放进模拟器试错、再让大模型分析报错，极度消耗 LLM 的 API 额度（Token）和试错时间。想要扩展到超大规模的任务集，要么等大模型降价，要么需要让搜索算法变得更高效。