AI guides

机器人的o1时刻来了!哈佛、伯克利、英伟达推出探索Scaling Law,五大基准平均领先37.4个点

By 黄润晗、章橡1 viewsSource: 机器之心
机器人的o1时刻来了!哈佛、伯克利、英伟达推出探索Scaling Law,五大基准平均领先37.4个点

机器人领域已经轰轰烈烈地 Scaling 了好几年。

The full text has not been translated yet. The Chinese original is shown below.

机器人领域已经轰轰烈烈地 Scaling 了好几年。

更多遥操数据、更大的模型,VLA 和 WAM 在实验室中不断刷新机器人能力的上限。数据越采越多,模型越做越大,到了实际生产部署,具身智能依然绕不开那个老大难问题:换一台机器人、换一个工作环境,还要重新投入多少人力、数据和算力?

成千上万小时的预训练,仍未让全新真实机器人上的零样本稳健部署成为常态。新本体需要重新采集数据、微调策略;场景和任务变了,又要继续适配。企业希望机器人尽快进入生产现场,研发团队却常常还在为下一轮数据采集和训练做准备。

所谓具身智能的 GPT 时刻,以及遥操作扩展带来人力与资源的无底洞,是不是忽略了智能真正的来源?

与人类类似,机器人应当通过不断的在线探索,扩展积累经验,通过测试时扩展实现自我进化(self-improve)。

来自哈佛大学、英伟达、加州大学伯克利分校、麻省理工学院和斯坦福大学的研究团队提出 RAX(Robot Agent eXploration),将Scaling Online Exploration带入机器人学习。通用 Coding Agent 直接连接机器人的感知与控制接口,通过探索获得经验,将成功决策写成可执行程序,再积累为可以持续复用的技能。

文章配图

  • 论文: Scaling Online Exploration for Robot Agents
  • 项目主页与实验 session: https://robot-agent-exploration.com/
  • 论文全文: https://arxiv.org/abs/2610.22496
  • 开源代码: https://github.com/robot-agent-exploration/rax
  • Skill Library: https://github.com/robot-agent-exploration/skills-lib
  • 完整实验记录:https://huggingface.co/datasets/robot-agent-exploration/robot-session-logs

模型参数保持冻结,机器人能力随着探索持续增长。在 RoboDojo、BEHAVIOR-1K、HumanoidArena、DexJoCo 和 LIBERO-Pro 五大仿真基准上,RAX 相对以往最强的 SOTA 模型平均领先 37.4 个百分点,刷新多项 SOTA。真实机器人上,它在没有任何人工动作示范的情况下,仅仅通过不到 2 小时的自主探索,就能熟练掌握并快速执行精密插孔、柔性物体操作、关节物体操作,以及长程移动机器人全身控制等任务。

从 Scaling Data 到 Scaling Exploration

人练习一项技能,会尝试、观察、纠错,再把有效的做法留下来。RAX 将这样的学习过程交给 Agent:读取相机和力传感器,编写控制代码,检查执行结果,再根据反馈修改程序。这也是 Scaling Exploration 的核心:让机器人通过越来越多的自主探索,积累越来越强的能力。

探索从「怎样看清这个任务」就已经开始。RAX 向 Agent 开放 RGB 图像、深度、相机参数和力反馈,Agent 围绕当前任务,自行编写感知和估计程序:将深度观测转换成机器人坐标系中的三维点云,提取物体几何,估计位置、朝向与可操作部位,再把这些估计送入动作规划。机器人在学习怎样行动的同时,也在开发完成任务所需的感知工具。

以空气炸锅为例,Agent 从深度观测中构建锅体和抽屉的几何模型,估计把手方向,搜索抓取与拉动方式。18 厘米长的香蕉要放进 19 厘米宽的篮子,平放会碰到锅体,它就在探索中找到将手倾斜 60 度后释放的办法。如果抓空气炸锅的长手柄,在拉出的过程中会 IK 受限,它就在规划的过程中决定抓较短的手柄连接处发力。Agent 通过探索和规划成功找到了这些人类遥操作都很难处理的极限解。

文章配图

探索成功后,Agent 将感知、规划和控制组织成可独立运行的程序,形成 Code as Policy(代码即策略)。到了新环境,Agent 可以继续探索,直接修改程序来适应变化,整个过程无需训练或微调策略模型。程序根据当前观测重新定位物体、生成动作,并在关键步骤检查结果:物体是否抓住、抽屉是否拉开、目标是否放入、动作是否需要重试。一次探索中找到的成功方法,由此成为下一次场景中可以重新计算、重新执行的能力。

程序遇到无法确认的感知结果或规划问题时,会通过异常把控制权交回 Agent。Agent 检查现场、定位问题、修改对应模块,再继续测试。随着探索推进,越来越多已经掌握的决策交给程序直接执行,Agent 则继续处理新的变化。探索推动程序成长,程序又把已经掌握的能力快速兑现到机器人身上。

探索产生经验,经验形成程序,程序积累为技能。 感知、规划和控制逐步成为可独立运行的执行循环,已经学会的能力也成为后续探索的基础。团队由此首次系统研究了跨仿真、跨真机、跨本体的在线探索 Scaling。

文章配图

图 1 RAX 通过在线探索生成控制程序,将经验积累为可复用技能。

换本体,通过接口接入

学技能,交给 Agent 探索

RAX 采用前后端分离架构。前端负责探索、程序生成、记忆与技能组织;后端提供机器人的感知、控制及底层执行能力。同一套 Agent 框架连接单臂、双臂、灵巧手、移动机器人和人形机器人。从桌面上的精细操作,到需要双臂、躯干和底盘协同的长程任务,RAX 将同一套探索与学习机制带到了不同形态的机器人上。

这让新本体的接入有了更直接的路径:通过接口连接机器人,由 Agent 在交互中学习任务,无需先为它采集一批任务示范、重新训练策略模型。面对不同的关节结构、工作空间和传感器配置,Agent 可以调用对应接口,通过探索找到适合当前本体的感知与控制方法,再将成功经验写成程序。跨本体共享的探索能力,让机器人能够根据自己的身体学习怎样完成任务。

对于学术界和工业界,这意味着多本体开发可以共享探索与学习框架,将开发投入集中到接口接入、任务扩展与技能积累上。不同本体上的成功经验都能以程序形式保存、检查和持续扩展,部署后的交互也能继续转化为下一次任务中的能力。随着接入的机器人和探索任务不断增加,RAX 为跨本体机器人学习提供了一个可以持续扩展的平台。

文章配图

零动作示范

对比几十上百条示范的 VLA 和 WAM

RAX 性能大幅领先

RAX 在五大仿真基准上的平均领先达到 37.4 个百分点。其中,RoboDojo (困难任务子集)从此前最强模型的 24.9% 提升至78.3%,BEHAVIOR-1K (困难任务子集)从 8.2% 提升至46.5%;DexJoCo 双臂任务从 48.8% 提升至94.3%。

在 LIBERO 和 DexJoCo 中,数据投入的反差尤其鲜明:对照的 VLA、WAM 等策略模型分别使用每任务 50 条、100 条动作示范训练,RAX 使用的遥操作动作示范是 0 条。

即便如此,RAX 在原始 LIBERO 四个任务套件上仍取得 98.5% 的平均成功率。物体位置被打乱后,在 LIBERO-Pro 上再进行最多 5 回合适应,平均成功率达到84.4%,远超 VPP2 的 42.3%,也比 ASPIRE 高出 21.2 个百分点。

RAX 在困难任务中大幅刷新了具身智能技术的上限。RoboDojo 按语言指令倾倒物体的任务上,参评的既有策略模型全部得分为 0,RAX 达到 100%,在 Swap blocks 任务中,同为 agent 方法的 Physical RSI 成功率为 0,RAX 达到 100%;BEHAVIOR-1K 的长程装车任务上,RAX 同样拿到100% 成功率,形成鲜明对比的是此前所有过往方法在这个长达 10 分钟的任务里成功率均为 0,部分分仅为 0.2。

探索投入本身也带来了清晰的能力跃升:插充电器任务从 4 回合探索时的 26.0%,跃升至 8 回合时的94.0%;交换积木从 4 回合时的 34.0%,提升至 16 回合时的100%。更多探索,正在转化为更强的机器人能力。「机器人 o1 时刻」 的具体含义是:更多测试时探索,能够转化为更高的任务成功率,并通过程序与技能保留下来。

文章配图

图 2 RAX 研究总览,展示探索 Scaling、基准表现与多类真机任务。

从 0.1 毫米插孔,到长程移动机器人全身控制

拿到真实机器人后,RAX 没有采集一条人工动作示范,而是通过探索掌握了精密插孔、空气炸锅操作、擦拭污渍、藏物追踪和不规则积木搭塔等技能。

文章配图

在 0.1 毫米间隙插孔任务中,透明板让深度测量变得困难,Agent 主动用机械臂接触桌面和板面,利用力反馈测量高度、校正定位。机器人自己决定怎样获取完成任务所需的信息。

文章配图

长程移动机器人全身控制则进一步展示了技能积累的价值。RB-Y1 先移开椅子、叠好杯子,将杯子和香蕉放进篮子,再把篮子搬上柜子、将椅子推回桌下,最后搬运箱子。六个阶段调用此前分别练习形成的技能,并结合现场观测完成衔接。从最初学习单项技能,到完成整条长程任务链,RAX 全程无需任何人工遥操作动作示范,也无需训练或微调策略模型。模型参数始终冻结,机器人通过自主探索,让可调用的能力持续增长。

环境与任务变化后,Agent 可以保留有效模块,只更新需要调整的部分。已经学会的擦拭程序能够复用于纸巾操作;已经积累的搬运、抓取与移椅技能,可以进一步组合成长程任务。每一次探索留下的程序,都能成为下一次任务的起点,让机器人在持续交互中积累经验、扩展能力。

程序化技能还显著减少了推理等待。空气炸锅任务的推理开销,从最初成功探索时约 72 分钟降至独立程序执行时的 18 秒,缩减约241 倍。探索时投入的思考,被保存为执行时可以快速调用的能力:机器人既能通过探索学会,也能通过程序高效执行。

零遥操作动作示范、无需策略训练、模型参数冻结 —— 自主探索、程序改进、技能积累与组合复用,在 RAX 中形成了持续学习闭环,为具身自我改进 RSI 提供了可运行、可扩展的平台。

文章配图

图 3 RB-Y1 调用已有技能,完成六阶段长程移动机器人全身控制任务。

完整开源,连机器人怎样学会任务也一并公开

RAX 把从接入机器人到积累技能的整条链路交给了社区。 团队开放完整框架、Agent 指令、通用工作流、机器人接口、基准集成与评测协议,同时公开真实机器人探索过程中生成的控制程序和技能。研究者可以沿着同一条路径,接入机器人、启动探索、检查执行,再将成功经验保存为下一次可以调用的能力。

学术界和工业界可以在平台上接入新本体、扩展新任务,研究怎样将更多探索投入转化为持续增长的机器人能力。随着通用 Agent 不断进步,RAX 也为这些能力进入物理世界提供了统一接口。

机器人下一轮的 Scaling,开始有了新的投入方向:让它们在真实交互中学习,让每一轮探索都能留下可执行、可积累的能力。RAX 把具身智能领域的不可能变成可能;随着测试时在线探索的 scaling law,机器人领域的 o1 时刻,真的到来了。

作者简介

黄润晗、章橡成为 RAX 共同第一作者,均来自哈佛大学。团队联合哈佛、英伟达、伯克利、MIT 和斯坦福研究者,探索机器人自主学习与多本体部署。

黄润晗(Runhan Huang):RAX 共同第一作者,哈佛大学计算机科学博士生,本科毕业于清华大学姚班,研究机器人、生成模型与强化学习。

章橡成(Xiangcheng Zhang):RAX 共同第一作者,哈佛大学计算机科学博士生,研究机器人 Agent 的规划、探索与自主学习。

Pieter Abbeel:加州大学伯克利分校教授、机器人学习实验室主任、BAIR 联合主任、机器人自动化企业 Covariant 联合创始人。

Dawn Song:加州大学伯克利分校教授、美国艺术与科学院院士、麦克阿瑟奖获得者、ACM Fellow 与 IEEE Fellow,研究 Agentic AI、深度学习及 AI 安全。

Yilun Du:哈佛大学计算机科学助理教授、Embodied Minds Lab 负责人,曾在 OpenAI 与 Google DeepMind 从事研究,研究生成式 AI、决策与机器人学习。

文章来自于"机器之心",作者 "黄润晗、章橡"。

Related topics

After reading

Join the AINRK community

Read how to join the community and connect with people working in AI.

Community information (opens in a new tab)