AI news

李飞飞看了要点赞:15分钟,一台相机,把真实世界搬进了AI

By Clio1 viewsSource: 机器之心
李飞飞看了要点赞:15分钟,一台相机,把真实世界搬进了AI

把一家冰淇淋店交给机器人,需要准备多少东西?

The full text has not been translated yet. The Chinese original is shown below.

把一家冰淇淋店交给机器人,需要准备多少东西?

机械臂、灵巧手、摄像头,以及负责感知和决策的模型,构成了看得见的系统。但在禾赛联合创始人兼 CEO 李一帆看来,要让机器人真正上岗,还要解决一系列与「空间」有关的问题。

在发布会上谈到 Sharpa 与 DQ 的合作时,他列出了团队希望达到的三个目标:尽量不改造原有环境,完成任务的完整闭环,以及承担真正的制作工作。他介绍道,制作冰淇淋包含五十多个步骤,团队希望机器人能够把整套流程接管。

文章配图

为了让机器人拿下这套流程,团队先为它准备了一家「数字门店」:将真实门店的布局、设备和操作空间搬进虚拟环境,用于训练。

禾赛表示,过去专业团队人工建模还原一家门店需要约 300 个小时,他们的设备约 15 分钟即可完成扫描并生成高度还原的三维训练环境;Sharpa 的失败案例降至原来的十分之一,任务成功率达到 99%。

这也是空间智能正在讨论的问题。李飞飞将空间智能概括为 AI 在三维空间中感知、推理并行动的能力。与只回答「看到了什么」的视觉模型相比,它进一步要求 AI 理解物体在哪里、空间的几何关系,以及一个动作发生之后,世界会怎样变化。

那么,一家真实门店,究竟怎样变成机器人可以反复学习的地方?

10 月 14 日,禾赛发布三维世界数据引擎 Kosmo,包括空间相机 Kosmo One 和云平台 Kosmo World。前者负责采集真实空间,后者进行重建、理解与编辑,并将数据交付给机器人仿真、世界模型和三维创作等工作流。目前,这套数据也已进入皮克斯相关创作工作流,以及高德的空间展示应用。

文章配图

扫描一家店之后,哪些信息会被留下?这些信息又如何变成机器人能够使用的训练轨迹?

为什么要专门造一台空间相机?

机器人需要怎样的数字门店?

柜台表面的颜色和纹理,影响视觉识别;桌沿的位置、设备之间的间隔,关系到接近路径与操作空间;换一个观察角度之后,杯子是否被设备挡住,又会改变机器人获得的观测。

因此,一个可用于训练的数字环境,需要同时保留外观、几何和空间关系。

专业团队当然可以通过传统 CG 建模完成这件事,但问题在于,真实世界中的门店、工厂和酒店各不相同。如果每进入一个新场景,都从头开始建模,成本会随着真实世界的复杂程度快速增加。

现场扫描提供了另一条路径:不再先假设一个标准空间,而是直接把具体场所记录下来。

Kosmo One 将激光雷达、影像系统与高精度 IMU 集成在一台设备中。激光雷达提供空间测量,摄像头记录颜色与纹理,IMU 为设备运动估计提供信息,再通过同步、标定和融合,把不同来源的数据放进统一的空间参照。

文章配图

毫米级精度意味着什么?向少卿在发布会上展示了一把网球拍。

他介绍道,球拍网孔约为 5 毫米间距,Kosmo 的定制激光雷达能够清晰呈现这些细小结构。这个演示让抽象的精度指标有了一个直观参照:当扫描对象从房间轮廓变成细小结构,测量能力会决定哪些细节能够被留下。

文章配图

影像系统则采用一英寸大底 CMOS,支持最高 8K 拍摄,最终导出文件最高分辨率为 6K。但在三维重建中,分辨率之外还有另一个问题:多个摄像头拍到的同一个物体,能否保持一致?

文章配图

向少卿用一块地板来解释这个问题。扫描者在房间里走动,同一块地板会反复进入不同摄像头的画面。随着拍摄方向和背景变化,自动曝光、白平衡等处理可能作出不同调整,使同一个表面呈现出不同的亮度和颜色。

这些功能可以改善单张照片的观感,三维重建却需要把多个时刻、多个视角组织起来。如果同一表面的外观不断变化,纹理还原和视角切换的连续性都会受到影响。

因此,Kosmo 为三维重建定制了 ISP,也就是把影像传感器原始信号处理成图像的系统。它需要兼顾跨相机、跨时刻的一致性,让不同画面共同描述同一个空间。

几何与影像之间,也需要准确对应。扫描者走过柜台时,相机拍下一张图像,激光雷达取得一组测量,设备本身还在移动。系统需要知道这些信息分别来自什么时刻、什么位置,才能让图像里的柜台边缘与空间测量中的边缘对齐。

因此,一台空间相机的完成度,要在整条采集链路中体现:既要取得足够细的几何与视觉信息,也要让这些信息相互配合。

使用过程则需要尽量简单。向少卿在介绍 Kosmo One 时,特意强调了一个实体按钮和一个屏幕按钮:用户能够完成开机、扫描等操作。他为这款产品设定的目标,是让空间建模变得像拍照一样容易。

文章配图

禾赛表示,在普通室内条件下,约 15 分钟可以完成 100 平方米空间的扫描,具体时间随场景结构和采集要求变化。

不过,扫描完成之后,得到的还只是一份空间记录。接下来的关键,是如何把它加工成能够反复使用的训练资产。

一次扫描,如何变成大量训练轨迹?

采访中,李一帆曾向媒体抛出一个问题:大家会不会把三维重建理解成给点云上色,或者把照片贴到墙上?

他随即举了一个例子:看墙上的钟。

人在不同位置看同一只钟,看到的形状、反光和细节会发生变化。如果只保留正面的一张照片,就很难完整表达侧面观察时的效果。当机器人在环境中移动,这类视角变化会不断发生。

Kosmo World 的底层系统 Kosmo Spatial Core,可以在一次重建中生成 3DGS、Mesh 和 Depth。三种表达分别服务于外观、几何表面和距离信息的需要。

文章配图

3DGS,即三维高斯泼溅,通过大量带有位置、形状、透明度和颜色等参数的高斯表示来重建场景,支持从新视角渲染画面。虚拟相机沿着柜台移动时,系统可以生成相应位置看到的物体、纹理与遮挡关系。

Mesh 用顶点、边和面描述物体表面,为碰撞与交互建模提供几何基础。Depth 则描述特定视角下的距离信息,可以与图像配合,用于空间感知。

三种表达保持空间对齐,意味着机器人在画面里看到的柜台,能够与几何模型中的柜台、深度信息中的距离相互对应,训练系统因此可以在同一个环境中获得不同形式的空间信息。

接下来,需要把虚拟相机放到机器人实际观察的位置。

人站着能够看见的桌面,可能被低处相机视野中的桌沿遮住。相机的安装高度、朝向和视场角变化,都会改变物体在画面中的大小、可见范围与遮挡关系。禾赛介绍道,Kosmo 生成的数据能够针对目标机器人的相机特性进行视觉适配,让数字场景中的观测更贴近实际使用条件。

文章配图

场景本身也可以变化。

Kosmo World 支持 AI 驱动的语义分割,可以识别并提取椅子、沙发、相机等对象,再对其进行移动和编辑。原本固定的空间记录,由此获得了重新布置的可能。

假设把门店里的一把椅子从桌边移到过道,通行区域会缩小,部分物品可能被挡住。相机即使沿原来的路径移动,得到的画面也会不同。这些调整可以构成新的训练或测试条件,用来观察模型对布局与遮挡变化的适应能力。

编辑也会暴露采集时没有看到的区域。移走沙发后,下面的地毯从哪里来?

在发布会演示中,Kosmo 通过 AI 推断,补全了沙发原先遮挡的区域。这样的处理让物体更便于移动,场景也更完整。与此同时,补全部分包含模型推断,训练团队需要根据任务要求判断其是否适用:用作背景,与用作精确接触和操作的表面,对数据的要求有所不同。

文章配图

有了能够从不同视角观察、能够编辑的环境,轨迹生成就具备了基础。

在现实门店里采集一段视频,需要有人或设备沿路线移动;在数字门店中,可以重新设置虚拟相机的位置、方向、高度和路径,沿途生成连续画面,以及相应的深度和位姿。

更重要的是,同一个真实空间并不只对应一组固定数据。通过调整物体位置、改变虚拟相机的观察条件,可以持续生成新的场景和训练轨迹。禾赛表示,基于同一个三维空间,可以自动生成上万条训练轨迹。

一份空间记录可以围绕不同观察条件持续生成数据,团队也能针对容易出错的位置增加采样。例如,某个设备经常挡住目标,就可以围绕相关区域设置更多观察路径,检查不同视角下的可见情况。

但不同轨迹承载的信息并不相同。

虚拟相机运动产生的观测序列,可以服务于多视角学习、空间感知和相关世界模型训练。机器人完成抓取、搬运等任务的操作轨迹,还涉及关节动作、接触状态和任务结果,需要机器人模型、物理仿真与策略系统共同参与。

文章配图

那么,当一个场景已经可以不断编辑、生成新的训练条件,为什么还需要继续走进更多真实门店?

因为机器人训练真正要解决的,是学会面对更多不同的场景。李一帆在采访中提到,机器人训练数据解决的本质是泛化问题:一个房间被数字化之后,可以成为类似场景的训练样本,但从餐饮走向零售、酒店,再进入家庭,真实世界中的空间差异仍然会不断增加。

一个房间可以不断变化,更多真实房间则提供了新的结构、物体和空间关系。前者负责把一份数据的价值继续放大,后者负责不断提供新的「世界」。

在李一帆的判断中,AI 能够处理的场景越多,对真实世界数据的需求也会扩大。

一次扫描的价值,也就延伸到了扫描结束之后。

从空间相机到数据引擎,禾赛想走多远?

过去十年,禾赛最为人熟悉的业务是激光雷达,应用从自动驾驶延伸到机器人等领域。此外,禾赛的激光雷达还曾用于《黑神话:悟空》的古建扫描。

李一帆在采访中先回应了一个问题:一家做激光雷达的公司,为什么要做 Kosmo?

产品的起点来自客户。测绘、建筑等领域的客户不断要求更高精度的激光雷达,从厘米级推进到毫米级。这些客户拿到雷达之后,还要配置摄像头、惯导和计算平台,才能搭出完整的空间采集系统。

不同团队反复完成类似的集成工作,让禾赛看到了产品机会:将传感器、采集系统与后续数据处理放在一起设计。过去在复杂光机电系统、定制芯片、标定测试和产品化方面积累的能力,也可以延伸到空间采集。

这一延伸有明确的工程关联。Kosmo 需要同时处理几何测量、影像质量、传感器同步和现场操作,单个部件的性能最终要转化为整套系统的可用性。禾赛已有的硬件与制造经验,为这项工作提供了基础。

进入训练资产领域后,应用端的反馈同样重要。

禾赛与 Sharpa 独立运营,共同创始团队则为两端提供了较紧密的交流条件。机器人团队可以提出具体需求:哪些观察角度容易丢失目标,物体分割后能否方便地进入仿真,重建资产还需要多少人工处理。采集与重建团队据此调整产品,再通过实际使用检验效果。

这使数据质量有了具体的讨论指标。一份三维场景看起来是否逼真,只能回答部分问题;它能否适配机器人传感器,能否方便地配置任务,才关系到开发团队何时能够开始训练。

禾赛表示,Kosmo 已连接 Isaac Sim、Isaac Lab、Omniverse 等平台。工具兼容性、对象编辑和资产加工的便利程度,都会影响最终交付效率。随着客户扩展到不同本体与训练框架,这些环节也将成为产品需要持续打磨的部分。

有些需求,则出现在团队最初预期之外。

李一帆在采访中,将影视领域的使用称为「意外收获和意外惊喜」。皮克斯 RenderMan 创意负责人 Dylan Sisson 拿到 Kosmo 后,扫描了皮克斯园区广场,将数据通过 USD 格式导入 Houdini,再交给 RenderMan 渲染。真实园区随后被处理成具有绘画笔触的画面,场景中的元素可以继续调整。

文章配图

他还扫描了一块手工制作的纸板电视框。纸板纹理、折边和胶水痕迹被保留下来,成为后续创作能够调用的细节。对于创作者,一次扫描的价值也体现在这些细节进入专业软件之后,仍有多少编辑与表达空间。

高德的应用则将三维资产带向空间浏览。据悉,Kosmo 与高德合作,首批重建的重美术馆、偏锋画廊已上线扫街榜「飞行街景」,用户可以在到访前观察场所内部。

文章配图

用途的扩展,也让交付方式出现变化。

有些客户需要设备,以便持续采集;有些客户只是希望完成一个项目,取得重建后的模型;还有一些客户希望直接使用已经制作好的空间资产。

相应地,禾赛提出了两类商业模式:通过软硬件一体化产品服务有持续采集需求的客户,以及面向世界模型和物理 AI 企业提供规模化空间数据生产服务。

前者需要让客户方便地完成采集与处理,后者还涉及场景组织、质量控制和持续交付。设备销售之后,数据能否顺利使用、能被重复调用多少次,会进一步影响客户对产品价值的判断。

这也是 Kosmo 当前仍需探索的部分。被问到最大的客户群体是谁时,李一帆在采访中没有给出确定答案,不同行业的需求仍在使用中逐渐显现。

对禾赛而言,从传感器延伸到数据引擎,意味着交付对象发生了变化。激光雷达的测距、精度和可靠性,可以通过相对明确的指标评估;三维资产进入训练后,其价值还与任务、模型和仿真配置有关。

Kosmo 试图改变的,正是过去「一次采集、一次建模、一次使用」的方式。一个真实空间被数字化之后,还可以继续编辑物体、改变观察条件、生成新的训练场景,一次采集也可能成为后续多轮训练的数据起点。

结语:给 AI 一张「真实世界的底图」

这几年 AI 的能力在所有人的见证中快速增长:从下棋、文字和图像,到现在对真实物理空间的探索。

毫无疑问,世界模型和空间智能是当下相当热门的方向。它们所对应的未来应用也令人心驰神往,从自动驾驶、具身智能、数字孪生……许多过去只存在于科幻作品里的场景,正在逐渐获得技术上的可能性。

但随着热度的攀升,关于「具身智能泡沫」的讨论也随之出现。解决这种担忧的方式,或许不是给行业降温,而是把基础一点点补齐。

其中一个绕不开的问题,就是数据。向少卿在发布会上将具身智能的数据问题概括为一个「不可能三角」:真机遥操作数据足够真实,却成本高、效率低、难以规模化获取;仿真数据容易扩展,却难以完整还原真实世界的复杂物理规律;二维图像和视频又缺少深度、位姿以及真实空间关系。

如果过去相当一部分 AI 训练数据来自互联网中的文本、图像和视频,那么物理 AI 要进一步成长,就需要更多来自真实世界的数据,以及一套把这些数据采集、加工并送入训练流程的基础设施。

李一帆在采访中将禾赛定位为「物理 AI 行业基础设施的建设者」,并强调这不会是一条单一产品线,而是围绕多个基础环节展开。

Kosmo 所尝试的,正是让真实世界变成一种可以持续让 AI 学习并被不断利用的资源。

文章来自于"机器之心",作者 "Clio"。

Related topics

After reading

Join the AINRK community

Read how to join the community and connect with people working in AI.

Community information (opens in a new tab)