AI news

机器人走出 Demo,到底还差什么?我们和智元、智平方、鹿明、逆矩阵、京东聊了聊

By 十字路口Crossing1 viewsSource: 十字路口Crossing
机器人走出 Demo,到底还差什么?我们和智元、智平方、鹿明、逆矩阵、京东聊了聊

在JDDiscovery-2026京东全球科技探索者大会上,智元、智平方、鹿明机器人、逆矩阵科技与京东探索研究院围绕"具身智能走出Demo"展开圆桌讨论,指出机器人从Demo走向真实落地的核心瓶颈已从单点模型能力转向数据、反馈闭环与系统能力,并认为GPT-6 Astra代表的语言模型上限及物理AI基座模型的构建将推动具身范式发生重大变化。

The full text has not been translated yet. The Chinese original is shown below.

既要摸高,也要过河。

“如果只能选一个变量,今天最限制机器人从 Demo 走进真实世界的究竟是什么?”

9月9日,JDDiscovery-2026 京东全球科技探索者大会上,一场主题为“具身智能走出 Demo:真实世界数据如何成为产业基础设施”的产业圆桌,开场便围绕这个犀利的问题展开。嘉宾是已经完成从 Demo 到产业跨越的企业创始人和行业专家。

文章配图

本场圆桌由 Koji 主持,五位嘉宾分别是:智元联合创始人、联席总裁、具身业务体系总裁姚卯青;智平方联合创始人张鹏;鹿明机器人创始人兼 CEO喻超;逆矩阵科技创始人陈博远;京东探索研究院图像与多模态实验室主任黄浩洋。

他们分别代表了具身智能产业链的不同生态位,也是这一轮具身产业化的积极实践者。

本场讨论从一个最现实的问题开始:

机器人从 Demo 走向真实世界,到底还缺什么?

大家的答案逐渐指向同一个方向——真正的门槛已经不再只是单点模型能力,而是数据、反馈闭环和系统能力。

而 GPT-6 Astra 的出现,又把这个问题往前推了一步:具身模型本身的范式,会不会也要变了?

以下是本场对话的内容分享,经十字路口整理:

限制机器人走进真实世界的

是什么?

👦🏻 杨远骋 Koji

如果只能选一个变量,你们觉得今天最限制机器人走进真实世界的,究竟是什么?

🧑‍🎨 智元 姚卯青

变量的确很多。如果只选一个,我觉得最核心的是“智能化”本身。

机器人要能像人一样智能、灵活地去处理各种工作,而且要高效、高成功率,核心就是智能能力。

文章配图

姚卯青|智元联合创始人、联席总裁、具身业务体系总裁

🤵🏻‍♂️ 智平方 张鹏

现在这个阶段,我们非常关注的一点是“真实的落地”。

从智平方的角度来说,我们关注的是,它到底能不能真实地产生生产力价值、到底能不能站得住脚。

文章配图

张鹏|智平方联合创始人

🕵🏻‍♂️ 鹿明机器人 喻超

核心是,在真实场景里的任务闭环能力。

拆开来看有这几个层面:一是任务本身的闭环;二是闭环过程中的可靠性和泛化性,这里面涉及模型、智能、以及整个基建的层面;三是闭环过程中能不能持续地进行迭代。

现在已经不是某一个单点的问题,而是整体的系统级能力。

文章配图

喻超|鹿明机器人创始人兼CEO

🧑🏻‍🚀 逆矩阵 陈博远

我更偏向于“反馈闭环”。

第一是模型侧本身的智能。

我们现在在一些受控场景里能做出非常好的 Demo,但真实场景是充满噪音和连续变化的。真实场景中,那些所谓的边缘情况其实不是长尾,而是常态。

所以,我们对通用智能的需求,是希望它能在家庭、工业场景等这些真实场景里,都能完成任意任务。这就需要模型要足够的智能,能进入到更深的场景。

第二也是更重要的一点是,要把真实场景里及时的数据,包括 corner case 数据反馈给模型,形成整个反馈的闭环。

文章配图

陈博远|逆矩阵科技创始人

🧑🏻‍🏫 京东探索研究院 黄浩洋

京东图像与多模态实验室一直在做多模态基础模型,我们从大规模互联网语料里,学习视频生成和视频理解。

体现在具身这里,我觉得最缺的是“规模化的、可标注的、带动作标注的高质量真机数据”。

这是我们目前认为限制具身发展的最大因素,也是京东主推第一人称操作数据的原因。

文章配图

黄浩洋|京东探索研究院图像与多模态实验室主任

关于落地、数据采集,来自一线的经验

👦🏻 杨远骋 Koji

谈到落地,鹿明机器人有不少产业落地的实践,最近有什么新的观察可以分享?

🕵🏻‍♂️ 鹿明机器人 喻超

我们在实践中看到,真实场景落地对整个系统能力的要求确实比较高。

它包括数据、data feedback,回流的数据怎么在模型里再次用起来,以及这部分数据怎么跟前面的数据做多源配比,等等。

另外,如果全部靠人工,节奏会非常慢,所以其实也需要一个类似“Codex for 具身”的系统。

现在,鹿明也正在构建自己的NexCore系统,作为实现任务闭环能力的载体。

👦🏻 杨远骋 Koji

能不能用一个具体案例展开讲讲,这套系统是怎么做到的?

🕵🏻‍♂️ 鹿明机器人 喻超

比如,我们早期做柔性质检、螺丝锁付。

最开始我们是在自己的工厂收集数据,然后做模型 training,再把机器人部署到真实产线,在这个过程中,我们会有多次数据迭代,根据实际运营情况调整回流数据,根据 failure case 去补充、调整。

随着机器人运转时间和工作时间的积累,整体的作业表现指标开始逐步往上走,我们现在也正在经历这个过程。

文章配图

👦🏻 杨远骋 Koji

浩洋,从京东探索研究院图像与多模态实验室的角度,你们怎么看不同数据采集路径?

🧑🏻‍🏫 京东探索研究院 黄浩洋

各有特点。

第一种是真机遥操数据。它是最高质量的数据,能真实反馈行动和状态的改变,能对模型做实质性激发,但代价是非常昂贵、成本很高,很难规模化。

第二种是UMI 数据,它能实现人类动作和机器动作之间的关联,成本相对较低。

第三种是仿真数据,这类数据的好处是,它能覆盖很多长尾情况,覆盖真实场景里很难触发的极端情况。

第四是我们最看重的egocentric 数据,也就是第一人称视角的操作数据,它可以更快地规模化。

在我们看来,这四种数据构成了一个数据金字塔:

先用 egocentric 或仿真数据做模型预训练,让模型学会对空间和动作的理解;

然后用 UMI 数据,连接人类操作和机器操作之间的关联;

最后用 SFT 后训练,做精细化的真机操作。

文章配图

黄浩洋|京东探索研究院图像与多模态实验室主任

👦🏻 杨远骋 Koji

京东最早做多模态模型用的是互联网数据,现在要和具身结合,有了更多真实场景的真机数据。都是训多模态模型,但在这两个阶段有什么相同和不同?

🧑🏻‍🏫 京东探索研究院 黄浩洋

一个是关注观测本身,一个是直接监督世界。

互联网数据能提供大规模图像、文本甚至视频的数据,可以让模型快速理解世界,它更多是做“理解世界的监督”——关注观测本身。

但具身数据不同,它更多是“作用于世界的监督”。比如,我执行一个动作,这个动作让世界的状态发生了什么变化——这是两者之间天然的 gap。

举个例子,一个人拿水杯。

对视频生成或理解模型来说,它从大规模语料中找出一个平均表征,生成一个人拿起水杯的视频,它只关注视频的合理性。

但对具身来说,我们要关注的是怎么拿起水杯、从哪个位置拿、用什么力度拿。

这就必须建立从行动到反馈的闭环。

这也是京东主推第一人称操作数据的原因。

今天上午,曹鹏总(京东集团技术委员会主席、京东云总裁)也讲到,我们计划未来两年推出 1000 万小时人体操作数据,同时推出超过 100 万小时真机操作数据。

这些数据都来自京东的零售、物流、家政、工业等真实场景,包含真实物体、真实人物,同时还覆盖大量操作中的失败案例。

事实上,仿真最大的问题是 sim-to-real 的难度很高,但通过真实采集,就能覆盖这些场景。

所以,从我们模型研发来看,我们不再只关注模型理解世界做得好不好,更重要的是“建立从理解世界到执行、到反馈、再到下一步执行的闭环”。

这也是我们现在从生成模型到世界模型、再到 World-Action Model 的转变。

从 Demo 到落地的几个关键点

👦🏻 杨远骋 Koji

在第一个问题中,姚总提到机器人从 Demo 走向真实落地的最大 gap 是“智能化”。从智元的角度,在“智能化”上最需要做的突破是什么?

🧑‍🎨 智元 姚卯青

从落地角度看,我认为有三个点比较重要。

第一是具备长程记忆,能基于过程做动态决策。

第二是灵巧和精度。人是一个非常精妙的构造,从自由度、全身协调到外部感知和触觉反馈,是一套非常精密的系统。机器人现在其实还在追赶状态,很多我们看起来简单的事情,对机器人来说非常难。

第三是纠错能力。现在机器经常能拟合一些状态和环境,但出现意外或失败时,很难完成闭环纠错。

行业里原来的思路是训一个越来越完备的端到端模型、world model,通过示教数据、RL 探索数据,大家希望靠一个模型完全解决掉。

但这个想法是比较理想化的。

最近大家在讨论:是不是应该通过分层架构,利用多模态大模型的能力,去完成上层对指令的理解、任务的拆分、状态的监督,以及对失败的重新规划、纠错,形成一套 agent harness 系统。

👦🏻 杨远骋 Koji

从智平方的角度,张鹏总你们怎么评估一项能力在 Demo 阶段做到怎样的程度,就可以进入规模化的部署阶段?重点看哪些信号?

🤵🏻‍♂️ 智平方 张鹏

Demo 和大规模商用之间,是一个探索的过程。从 Demo 走到规模化,有这两个前提:

第一,Demo 是展现技术能力,目标是验证技术框架和路线在场景下能 work,但真正产生商业价值,需要把客户、实际部署场景的各种变量,以及产品如何跟客户系统结合、跟商业模式结合起来,并且真正给客户创造价值。

第二,有了商业价值之后,还必须要有持续性、规模化的商业价值创造——也就是有规模化部署的需求。这里不光是看技术和模型能力,还要看闭环能力、硬件本体能不能支撑长时间稳定应用,以及售后、生产、质量体系能不能跟上。

最近几个月,在很多工业场景和新零售场景里,我们已经在很多场景下实现了长时间、稳定地工作。

这也是我们认为的可以做规模化商业部署的前提。

文章配图

真实物理世界的基座模型

👦🏻 杨远骋 Koji

逆矩阵是今天在座最年轻的公司和创始人,过去这段时间,逆矩阵具体在做哪些事情?有什么新的成果?

🧑🏻‍🚀 逆矩阵 陈博远

用一句话总结,我们在构建一个真实物理世界的基座模型。

我们发现,真实物理世界在工业上是高度结构化的,但在家庭场景是非结构化的,同时泛化性要求很高。

这让我们想到语言模型的发展路径:2023、2024 年还有一些垂类的大语言模型,但到了 2026 年,一个通用语言模型就把这些垂类场景 one-for-all 解决了。原因是,通用基模可以利用不同 domain 之间可泛化和可迁移的知识和结构。

我们认为,物理世界也会走同样的路。

我们希望,构建这样一个理解人类物理直觉和本能的物理世界基座模型。

它能 all-for-one 地利用来自家政、零售、工业仿真等不同真实物理场景的数据以及仿真合成数据,帮助模型更好理解底层物理规律。

另外,我们最近也发现一些有趣现象,比如基模独有的 less is more 的效果。

同一个基座模型,只要微调少量数据左右,就能在灵巧手、轮式等不同机器人本体之间实现泛化和迁移。

👦🏻 杨远骋 Koji

构建一个理解人类的物理直觉和本能的世界模型,这其中最难的事情是什么?

🧑🏻‍🚀 逆矩阵 陈博远

主要分两点。

第一是范式本身。大家提到世界模型也好、VLA 也好,最核心的是我们怎么从真实物理世界数据里学习。

比如 egocentric 数据,大家关注 Dyna-2 模型之前发布的 100 万小时,Skild AI 直接把人类的示教作为上下文拼进去。但更值得关注的是,Skild AI 在数据质量上花了采集数据 3 倍的成本。

对 egocentric 数据来说,有效的来源是状态之外的动作标签——哪些动作导致世界的哪些状态转移,这是我们对物理本能和物理直觉理解的来源。合成数据更多是提供可大规模 scaling 的东西。

第二是我们怎么从真实物理世界数据里,提炼出模型应该学会的物理结构范式。

我们希望模型看到一个白天拿杯子和晚上拿杯子的动作之后,能理解背后的原理其实是一样的。因为能不能拿起来杯子只跟力触及物体材质有关。然后,模型进一步可以理解焊接、胶装等复杂场景。

这其中的难点是,真实世界充满噪音且部分可观测,它不像语言模型可以通过上下文补全所有信息。

真实物理的几何、材料、约束、受力,这些都是隐藏变量,模型怎么从原始数据里提炼出这些隐藏变量,这是很关键的一步。

这两点合在一起,指向一个判断:

物理 AI 的范式,需要从像素空间、语言空间,回归到更高维的

隐空间。

另外,接下来的难点就是数据,也就是反馈闭环。

其实,我们对物理的理解来自交互,而不是来自更多的感知。人从 1 岁到 10 岁每天交互 10 小时,365 天,3 万多小时,学会了很多物理原理。本质上,我们是在感知世界之外和世界不断交互,在交互过程中不断验证和更新假设。

比如,我看过所有视频杯子都在桌上,就以为桌子有吸力,但当我把杯子碰到地上才发现原来没有——这就是对物理和因果的理解来源。

所以,我们强调两方面:

一是,范式上要回归到比像素空间、语言空间更高维的层次——隐空间(Latent Space),来压缩和提炼这些可抽象泛化的物理规律;

二是,在真实场景里去应用和交互,通过强化学习来形成完整闭环。

文章配图

陈博远|逆矩阵科技创始人

在探索中,我们还发现了几个有趣的现象:

首先,物理 AI 基模具备 all-for-one 和 one-for-all 的关系,少量微调就能适配不同本体和不同噪声场景。

其次,数据本身的 diversity 很重要,特别是力触相关的多模态反馈——包括我们和京东在家政、健康、工厂等领域合作获得的数据——能帮助基模快速迭代。

第三,在数据和参数量的 scaling 之外,我们找到了第三条轴——交互范式和交互密度本身。

我们把动作原生地引入到模型的预测和学习中,随着模型学习状态变化导致状态转移的密度提升,模型能持续对物理世界有更好的认知。

这也符合我们的一个直觉:试错密度越高,我们对物理世界的理解越深。

GPT-6 Astra 的启示

👦🏻 杨远骋 Koji

前两天 GPT-6 发布之后,网上很多博主用 Astra 做 agentic 的任务理解和拆分,你们看完这些视频有什么感受?

🧑‍🎨 智元 姚卯青

我越来越觉得,现在的多模态大模型,在上层系统已经能更好地适应长程任务的理解、规划和过程中的思考了。但对于更精细的操作层面,确实还需要 policy 层面来解决。

我觉得接下来一个值得研究的问题是:

架构本身到底是分层的、层与层之间通信的,还是将来会走向单一系统,通过类似 MoE 的架构来自适应切换“快慢系统”?

就像语言模型以前需要人去手工选快速思考还是深度思考,但现在很多产品都自动切换。不可否认,最新的 Frontier VLM 越来越具备这样的思考能力。

文章配图

姚卯青|智元联合创始人、联席总裁、具身业务体系总裁

具体到 GPT Astra ,对我的启示有这几点:

第一,语言是一种高效的“智能压缩”。

从最近的语言模型和视频模型来看,语言作为载体,经过人类进化这么多年,对信息和智能进行了压缩。但原生的大模型因为没有经过特别多物理世界、具身智能的后训练和微调,也已经能很好地指挥闭环系统去完成任务。

第二,视频生成模型证明了 scaling law 在高维空间同样成立。

今年主流的视频生成模型,相比去年有质的飞跃。为什么视频生成效果今年能有这么大的飞跃?

因为数据量到了几千万小时,模型参数从小几十 B 的 Dense 模型变成了动辄一两百 B 的 MoE 模型。在更大参数和更大数据量上,只要细节做对,确实可以延续像语言一样的 scaling law。

第三,真正的壁垒在数据,不在模型。

我们看到,几家头部公司花了几千人冷启动,标注几十万小时的数据去训 Caption 模型。我们相信,在具身智能这种十几维、几十维的低维空间里,只要数据标注做得同样足够好,一定也有对应的 scaling law 可以延续。

最近,我们也交流了一些做视频模型的人,大家的感悟也比较深——数据确实越来越重要,因为模型本身并没有那么强的壁垒,但数据至少能拉开 200 到 300 天的领先时间。

🧑🏻‍🚀 逆矩阵 陈博远

Astra 代表了真正的 VLA 最高 level 的形态——语言模型进入物理世界,形成真实物理闭环。

但是,我自己最近也在尝试用 GPT-6 操作一个夹爪去拿杯子,可能要花 40 分钟到一个小时才能慢慢拿起来,这是真实案例。

这也引发我的进一步反思:语言模型的上限到底在哪里?

我们现在能看到语言模型能操纵真机,Claude 也发了物理 AI 版的 MCP 协议,能操控硬件本体。但其实,语言模型存在很多上限。

人类有运动感知智能、语言认知智能。语言的确是很好的载体,但它也限制了我们任务描述的上限。比如,我能想象怎么系鞋带,但用语言描述不出来。

现在它能完成一些简单地夹取,但是到了真实物理世界,对精度、速度、泛化性都有要求时,它依然是失效的。

另外,语言模型的推理范式也把应用上限锁死了。

因为语言模型还是 token by token 的生成,100 毫秒在聊天窗口没什么感觉,但是对应到真机上,可能就是三个控制周期。真实物理世界时刻在变化,不可能说动作还没执行完、来了新的挑战,模型无法及时响应。

所以 Astra 的出现给了我很大震撼,它让我们看到语言模型进入真实物理世界的表现。

但语言模型核心的问题和挑战也是无法突破的,同时也给了我们更坚定的信心:

物理 AI 一定会存在自己的基座模型,它需要学习人类操作的范式、物理直觉和本能,更高效、更快速地在真实物理世界里做决策和闭环。

🕵🏻‍♂️ 鹿明机器人 喻超

我觉得 GPT-6 的 Astra 可能不单纯是纯语言模型的上限。

从一些实践来看,你给它补充一些比较好的表征系统,再加上一套执行系统,它的上限会比现在高很多。

比如,我们之前做试验,调硬件时,把轨迹用纯数值丢进去,这和用类似示波器的对比图片输进去相比,效果差异蛮大的。

所以我认为,后面给它(模型)配备合适的表征系统和执行系统——不管是信号层面还是执行层面——整体的上限还会比现在高很多。

基于这个判断,我觉得后面具身模型的范式,可能会有很大变化,甚至可能会演变成这类模型的一个子领域。

另外,它对当前具身的数据范式,也会有比较大的颠覆。

现在采集的很多常规数据,特别是 contact 信息不完全够的数据,这类数据的范式,可能都会有很大变化。

文章配图

喻超|鹿明机器人创始人兼CEO

👦🏻 杨远骋 Koji

在具身领域,最近几个月你们认为最值得关注的新工作是什么?

🧑🏻‍🏫 京东探索研究院 黄浩洋

我想聊聊京东之前发布的 JoyAI-RA 模型。

我们采集了很多第一人称操作数据,验证出了一个很有意思的结论。真实人机操作数据上的 scaling law 是存在的,之前我们不确定要多少数据才能激发具身模型的泛化性,现在发现,在看过的任务上,指标确实在不断变好。

这和我们做多模态模型的经验,也是相通的。我们从海量数据中,已经找到类似的 scaling law。未来,从更大量的数据中,模型将能学会很多物理规律的变化。

这也侧面说明,我们需要进一步获取真机操作数据。

现在,我们正处于一个逐渐过渡的阶段:从以 egocentric 和仿真数据为主,不断迁移到真实场景数据。

🤵🏻‍♂️ 智平方 张鹏

整个行业包括我们在内,都很关注智能化本身的发展。我们重点从这几个原则出发来考虑:

一是,从技术路线角度,应该往哪个方向走。

二是,从做产品和落地的角度,要考虑哪些影响因子。因为最终目的是一致的——我们希望所采用的技术架构和路线,以及机器人通过闭环不断进化的路径,能够实现最终想要达到的目标。

现在大家都在摸索,还没有一条明确的路径出现必须要怎么走。

这也是这一轮具身智能革命里,中美站在同一起跑线的一次机会,我们可以一起去摸索。

文章配图

姚卯青|智元联合创始人、联席总裁、具身业务体系总裁(左)张鹏|智平方联合创始人(右)

前面大家讨论了很多 Astra,但在 Astra 之外,这两个月我比较有触感的是 Tesla 的 Cybercab。

这段时间,在美国市场,专门为无人出租车设计的没有方向盘、没有后视镜的汽车,已经在路上实际运营了。

这个目标马斯克已经讲了很多年——希望有一天你的汽车可以在空置时间自己去跑单,但他也做了很多年准备。

大概 2014、2015 年开始,特斯拉就坚持纯视觉、发布端到端 FSD。这期间,它的产品线在不断地收缩,把汽车的更多数据回传到 data center,而不是要造更多汽车。

也就是说,特斯拉这些年一直在做的是把全世界所有特斯拉上的数据利用起来,行之有效地去进化 FSD,无限接近那个临界点。

它在一个完整的商业闭环里做数据积累,朝着理想目标前进。

这是值得我们学习的:

技术的发展、商业的闭环、规模化的部署,我们要如何把这几者结合在一起? AI 的产品、AI 的系统、AI 的商业闭环,究竟应该如何去做。

结语

我们总是高估未来两年将发生的变化,而低估未来十年可能发生的变化。

对具身行业从业者来说,今天这场对话里,这几个信息尤其值得关注:

第一,竞争重心正在从“模型能力”转向“系统能力”。

具身智能的落地不是单点技术的突破,而是一个涵盖本体、模型、数据、控制、售后的庞大系统工程。谁能把这个系统跑通、跑快,谁就有机会进入下一轮。

第二,数据壁垒的持久性正在被重估。

模型的领先期在缩短,但一个能在真实场景里持续产生数据、持续迭代模型、持续产生商业价值的闭环,会是真正拉开差距的地方。

第三,Astra 所代表的语言基模上限,可能远未被真正触及。

正如鹿明机器人喻超所说,具身模型的范式可能会发生很大变化,甚至可能演变成这类模型的一个子领域。

文章来自于微信公众号 “十字路口Crossing”,作者 “十字路口Crossing”

Related topics

After reading

Join the AINRK community

Read how to join the community and connect with people working in AI.

Community information (opens in a new tab)