
李飞飞万字长文爆了!定义AI下一个十年(在新窗口打开)
AI的下一个十年,是构建空间智能的机器。李飞飞最新硬核长文,揭秘了空间智能「世界模型」核心框架和三大核心支柱。但「空间智能」究竟是什么?为何如此重要?该如何构建它?又该如何应用它?今天,李飞飞撰万字长文分享了自己关于构建和使用「世界模型」以解锁空间智能的思考。
共 71 篇

AI的下一个十年,是构建空间智能的机器。李飞飞最新硬核长文,揭秘了空间智能「世界模型」核心框架和三大核心支柱。但「空间智能」究竟是什么?为何如此重要?该如何构建它?又该如何应用它?今天,李飞飞撰万字长文分享了自己关于构建和使用「世界模型」以解锁空间智能的思考。

这周一,一张神秘海报在科技圈引发热议。 「高德要造车了?」「高德要造飞行汽车?」「高德要推出自己的无人驾驶 / 高级辅助驾驶?」一夜之间,社交媒体上出现了对于这张海报的各种解读。 这些解读并非毫无依据。就在前几个月,高德全面转向空间智能,先后发布了「小高老师」[高德扫街榜] 等。种种迹象表明,高德正在从「地图导航」的传统定位中走出来,想把他们积累多年的搞定物理世界复杂性的能力 —— 空间智能,推向更多场景。 这些场景的想象空间很大,而「车」似乎是最自然、也最能发挥高德自身优势的起点。 11 月 5 日,海报答案揭晓。高德宣布,他们已经与小鹏汽车达成合作,未来将共同面向全球提供 Robotaxi

近日,京东开源图像模型JoyAI-Image-Edit,将空间智能纳入图像理解与编辑,让AI开始处理真实世界中的空间关系,让模型真正“理解空间,编辑空间”。简单解释,这是一个以空间智能为核心的图像生成与编辑模型,让 AI 真正“看懂”三维空间,从而让生成更合理、编辑更精准。

李飞飞团队最新发布ESI-Bench——一个专门用来评测具身空间智能的新基准。过去的空间智能评测默认给模型最优观测,而ESI-Bench第一个把观察者变成行动者,闭合了感知-行动回路。

昨晚,商汤正式发布并开源SenseNova-SI系列空间智能大模型,涵盖2B与8B两个版本。该系列模型在多个空间智能基准测试中均表现突出,其中SenseNova-SI-8B模型在VSI-Bench、MMSI-Bench、MindCube-Tiny与ViewSpatial四个核心任务上获得60.99的平均成绩

空间理解能力是多模态大语言模型(MLLMs)走向真实物理世界,成为 “通用型智能助手” 的关键基础。但现有的空间智能评测基准往往有两类问题:一类高度依赖模板生成,限制了问题的多样性;另一类仅聚焦于某一种空间任务与受限场景,因此很难全面检验模型在真实世界中对空间的理解与推理能力。

从原始视频出发,无需人工介入,自动生成 3D 重建、深度、2D mask、3D 框、实例描述、3D grounding 和空间问答。Holi-Spatial 试图把「空间智能」的数据生产,推进到自动化、可扩展的新阶段。

SSI-Bench是首个在约束流形中评估模型空间推理能力的基准,强调真实结构与约束条件,通过排序任务考察模型是否能准确理解三维结构的几何与拓扑关系,揭示当前大模型在空间智能上严重依赖2D信息,实际表现远低于人类。研究指出,模型需提升三维构型识别和约束推理能力,才能真正理解空间问题。

什么在限制空间智能落地? 从自动驾驶到具身智能,行业对此的共识是:数据。 因为数据不够,模型泛化能力就弱,只能靠硬件来凑。 这在机器人身上体现得尤为明显。机器人要感知空间,常用的硬件是RGB-D相机,它既能看懂RGB图像,又能感知深度,从而获取到三维立体信息,让机器人理解物理世界。 但问题是,机器人的这双眼并不靠谱,遇到镜子、电梯、玻璃门等透明物体或者反光表面,RGB-D相机就容易失效,导致机器人感知异常。 这些场景绕不开,躲不掉,都是机器人走进千家万户,一定会碰到的问题,必须要解决。但因为缺少数据底座,行业过去的解决方式一般是靠堆硬件,补短板,强化感知能力。 这种局面即将迎来改变。因为就在刚

映界科技数据方向研究者、香港城市大学副教授马辰讨论空间智能的数据难题:连续观测如何关联对象、保留状态与不确定性,评测又如何反哺采集和训练。访谈强调数据价值取决于任务、模型和预算,单一总分或更多视频并不自动带来可靠的空间理解。