AI news

让机器人学会番茄炒蛋爆红网络的 Genesis AI,开源了自己的机器人「训练场」

By Li Yuan1 viewsSource: 极客公园
让机器人学会番茄炒蛋爆红网络的 Genesis AI,开源了自己的机器人「训练场」

真实世界需要 200 多个小时的模型评测任务,可以在仿真中不到 0.5 小时内完成。

The full text has not been translated yet. The Chinese original is shown below.

文章配图

真实世界需要 200 多个小时的模型评测任务,可以在仿真中不到 0.5 小时内完成。

上次端出了惊艳的西红柿炒鸡蛋 demo 后,Genesis AI 今天又发布了新东西。

在上次极客公园的报道中(Genesis AI 发布新模型:机器人开始挑战西红柿炒鸡蛋)(在新窗口打开),Genesis AI CEO 周衔曾提到,围绕「仿真平台自动化、规模化生成任务」,公司已经有了更进一步的思考,后续可能会公布。现在,这个答案中重要的一部分来了。

5 月 28 日,Genesis AI 发布 Genesis World 1.0,并开源了三套核心项目:Genesis World 物理仿真平台、Quadrants 跨平台 GPU 编译器,以及 Nyx 写实渲染器。按照 Genesis AI 的说法,这是一套为机器人和 Physical AI 准备的全栈仿真基础设施,底层编译器、渲染器和物理引擎都由团队自研。

看视频展示,Genesis World 1.0 下的仿真世界,非常像真实世界,尤其是那些过去很难模拟的柔性物体的形变、复杂碰撞和机器人的灵巧操作。

Genesis AI 还展示了和真实场景 1:1 速率并排对比的机器人操作,两者十分接近。

文章配图

Genesis World 1.0 首先要解决的,不是立刻生成更多训练数据,而是让机器人模型评测变得更快、更可重复,而且仍然开源。

对机器人基础模型来说,真实世界一直是最慢、最贵、也最难规模化的评测环境。一个模型 checkpoint、一套数据配方、一次控制策略改动,最终都要回到真实硬件上验证。但真实机器人只能以 1 倍速运行,测试还会受到硬件数量、场地、人工、磨损、校准误差和安全风险限制。

Genesis AI 想解决的,正是这个瓶颈。

在官方博客里,Genesis AI 给了一个很直接的对比:一次覆盖数百个任务、每个任务重复数百次的模型评测,如果放在真实世界里,需要一台机器人和一名操作员连续运行 200 多个小时;而在仿真中,数万次 episode 可以在不到 0.5 小时内完成。团队还称,其仿真评测结果和真实硬件 rollout 的相关性达到 89%。

这些数字仍然来自 Genesis AI 官方披露,尚非独立验证,但它们指向了一个清晰的方向:Genesis World 1.0 想证明,仿真能够成为一个帮助机器人 scaling 的方式——靠先成为一个足够接近真实世界、能够反复测量机器人模型的试验场。

01

机器人的仿真试验场

Genesis World 1.0 最直观的变化,是把很多机器人真正头疼的物理细节放进了同一个仿真世界里。

其中最容易被普通人感知的是视觉真实感。

文章配图

这件事对机器人很重要。机器人模型最终看到的不是理想世界,而是摄像头里的世界。光照、镜头畸变、模糊、反射、材质差异,都会影响模型在真实环境里的判断。

更难的是接触和变形。

Genesis World 1.0 展示了一个完全由接触物理驱动的 yoyo 系统。yoyo 看起来像玩具,但对仿真来说并不简单:它涉及绳子、旋转、缠绕、张力变化和持续接触。类似的还有垃圾袋、折纸和颠勺。

文章配图

颠勺 demo 里,锅里同时多种物体。它们的形态、接触和运动方式都不一样,也处理的很好。

文章配图

除此之外,这次的 demo 中,一个比较大的进步是对于灵巧操作的仿真。

Genesis World 1.0 展示的不是单一机械臂或单一夹爪任务,而是把不同形态的末端执行器放进同一套仿真框架里:既有 Wuji/Sharpa 这样的五指灵巧手,也有更传统的夹爪。它们面对的也不是标准化的刚体抓取,而是垃圾袋、纸张、绳子、锅里的食材这类接触状态不断变化的对象。

比如垃圾袋 demo 里,机器人要用双手把袋口撑开,再把它套进垃圾桶。这个动作对人来说很普通,但对机器人仿真来说很难:袋口会塌陷,薄膜会折叠,手指和袋子之间不断发生滑动、拉扯和重新接触。

仔细看,它还不像真正的塑料袋,更接近布料的柔软皱褶,但这本身已经说明系统可以处理复杂薄壳、大变形接触,以及多指手和软物体之间的连续交互。

文章配图

折纸 demo 则展示了 elastoplastic thin shell manipulation,机器人要让纸张发生折叠、弯曲和保形,这比刚体抓取难得多。

Genesis 还不只是模拟画面和物理运动,也在模拟机器人本体和传感器。

在 Unitree 机器人 demo 里,画面右侧甚至显示了关节温度。也就是说,仿真并不只关心机器人有没有走起来,还试图把 IMU、关节温度这类更接近真实硬件状态的信号放进去。另一组 demo 展示了 lidar 和触觉传感器模拟:机器人抱起纸箱时,画面同时给出点云和手掌触觉读数。

这些细节让 Genesis World 1.0 的目标变得更清楚:它不是只想做一个能看视频的虚拟世界,而是想模拟机器人真正会用到的世界,包括相机、触觉、雷达、关节状态,以及不同任务里不断变化的接触关系。

文章配图

Genesis 还放了一个 domain randomization 的测试。同一个任务可以在不同物体、材质、桌面、光照和场景布局中反复变化。对机器人模型来说,这才是仿真的意义:不是在一个完美场景里跑通一次,而是在大量相似但不相同的世界里反复失败、测量和修正。

02

仿真不只是造数据,先要能验模型

Genesis AI 这条技术线索,最早并不是从机器人 demo 开始,而是从一个博士期间的开源仿真项目开始。

2024 年 12 月,在创立 Genesis AI 之前,周衔和合作者发布了开源仿真项目 Genesis。它采用 Apache-2.0 协议,被定义为面向通用机器人和具身 AI 学习的仿真平台,底层统一多种物理求解器,上层则试图通过生成式框架自动生成场景、任务和机器人数据。

它当时最吸引人的想象,是「一句话生成物理世界」:用生成式框架调用物理引擎,自动生成场景、任务、动作、奖励函数和多模态数据。

这个想法很直接,也很诱人。

机器人缺数据,尤其缺真实物理交互中的高质量数据。一个人倒水、切菜、系线、撑开垃圾袋,里面包含大量隐含的接触、摩擦、力反馈和材料变化。仅靠真实机器人一点点采集,不仅慢,也很难覆盖足够多的任务、物体和环境变化。如果仿真平台足够真实,再让上层生成式系统自动提出任务、生成场景、设计奖励函数、训练策略,它就有可能变成一个机器人数据工厂。

这也是周衔曾经的最初设想:用 LLM 驱动物理引擎,为机器人创造数据。一个强物理引擎作为工具,上层生成式框架通过和物理引擎交互,自动化生成各种模态的数据。这个想法后来驱动了 Genesis 很长一段时间的开发。

但到了 Genesis World 1.0,Genesis AI 对仿真的表述变得更克制,也更工程化了。

在这次技术博客中,Genesis AI 明确写道,他们现在把 simulation 看作机器人基础模型的「evaluation and iteration engine」,而不只是 data generator。原因也很现实:如果一个模型用仿真数据训练,又在同一个仿真分布里评测,效果变好可能只是更适应 simulator,而不一定真的更适应真实世界。

所以 Genesis AI 选择先做一件更基础的事:验证仿真评测和真实硬件 rollout 是否相关。

按照他们的说法,这一阶段的目标,是在不依赖仿真数据做预训练的前提下,建立 simulation 和 real world 之间的强相关。也就是说,模型主要从真实世界数据中学习,再被放进仿真环境里做闭环评测。如果仿真里的表现排序和真实硬件上的表现排序一致,仿真才有资格成为模型迭代的工具。

Genesis AI 在博客里特别强调了 closed-loop evaluation,也就是闭环评测。

过去很多机器人模型会报告固定数据集上的动作预测误差,比如 R-squared 或 MAE。它们当然有用,可以发现模型输出是否异常,也可以作为训练过程中的 sanity check。但 Genesis AI 认为,一旦几个模型在这些开环指标上进入一个比较接近的区间,它们就很难再区分真实世界里的表现差异。

原因很简单:机器人模型不是在答题卡上考动作预测,而是在物理世界里连续犯错。

一次轻微的视觉误判、一次抓取偏移、一次接触不稳,都可能在后续动作里被放大。模型真正需要被测量的,不只是某一帧预测得对不对,而是在环境持续变化时,它能不能感知、行动、纠错,最后把任务完成。也因此,Genesis AI 才把仿真评测做成 closed-loop:让模型在仿真环境里实际执行任务,而不是只在静态数据集上预测动作。

Genesis AI 在博客里披露,他们在 14 个任务上评估了 Small、Medium、Large 三个不同规模和架构的模型,每个任务在真实世界和仿真中各跑 200 个 episode,再用 100 万次 bootstrap 估计置信区间。最终,仿真评测和真实硬件 rollout 的 Pearson correlation 达到 0.8996,MMRV 为 0.0166。

这也是 Genesis 从 2024 年到 2026 年叙事上的变化:从「生成一个物理世界」,走向「先让这个物理世界足够可信」。

03

开源一套机器人世界的底层工具

Genesis World 1.0 是整个开源的,把三层工具一起放了出来:物理引擎、渲染器和编译器。

第一层是 Genesis World 本身,负责模拟机器人真正会遇到的物理世界:刚体、可变形物体、布料、颗粒、流体、薄壳,以及不同机器人本体和末端执行器之间的复杂接触。对机器人来说,这一层决定了「世界会不会按真实方式回应动作」。

第二层是 Nyx。它负责让机器人看到的世界更接近真实相机。Genesis AI 在技术博客里说,游戏引擎优化的是视觉吸引力,离线渲染器追求物理准确但太慢;机器人需要的是另一种渲染器:能大规模生成接近真实摄像头的图像,并且足够快地支撑评测。换句话说,Nyx 的意义不是做出最讨好人眼的画面,而是尽量接近机器眼睛。

第三层是 Quadrants。它看起来最不性感,但很能说明 Genesis 为什么要做全栈。

机器人仿真不是只跑在一种机器上:工程师可能在 MacBook 上调试,大规模评测跑在 GPU 集群里,部分控制和验证未来还可能跑在机器人板端。Quadrants 支持 CUDA、ROCm、Apple Metal、Vulkan,以及 x86/ARM64 CPU,目标是让同一套 Python kernel 能在不同硬件后端运行。它的意义不是「又一个编译器」,而是让仿真栈尽量不被单一硬件锁死。

这三层合在一起,才构成 Genesis World 1.0 想要做的东西:一个既能模拟物理、又能模拟视觉、还能大规模运行的机器人世界。

也只有在这三层都成立之后,自动生成任务才有意义。

在技术博客后半部分,团队提到了一条 programmatic pipeline:自动生成 simulation environment,包括 scene layout、asset selection、environment code 和 success metrics。换句话说,未来的仿真系统不只是被动接收人类写好的任务,而是可以自己扩展任务空间、生成评测场景,并定义什么叫完成任务。

这也把 Genesis World 1.0 从一个开源工具,推向了一个更大的目标。

他们在结尾提出的方向是 self-evolving physical AI:内循环发生在仿真里,agent 生成环境,模型执行任务,仿真系统评分,策略继续改进;外循环发生在真实世界里,真实部署暴露 edge cases,再反过来校准 simulator 和任务分布。

它解释了为什么 Genesis AI 要把仿真、渲染和编译器一起做出来,又一起开源。它想做的不是让机器人少跑几次真机测试,而是让机器人研发从人手设计任务、人手调参、人手排队上真机,逐渐变成一个能自我产生问题、验证答案、再回到现实中修正自己的系统。

如果这条路走通,仿真就不再只是现实世界的替身。它会变成机器人学习现实世界的一种方式。

文章来自于"极客公园",作者 "Li Yuan"。

Related topics

After reading

Join the AINRK community

Read how to join the community and connect with people working in AI.

Community information (opens in a new tab)