AI news

空间智能,究竟需要什么样的数据?访谈映界科技、港城副教授马辰

By 机器之心1 viewsSource: 机器之心
空间智能,究竟需要什么样的数据?访谈映界科技、港城副教授马辰

映界科技数据方向研究者、香港城市大学副教授马辰讨论空间智能的数据难题:连续观测如何关联对象、保留状态与不确定性,评测又如何反哺采集和训练。访谈强调数据价值取决于任务、模型和预算,单一总分或更多视频并不自动带来可靠的空间理解。

The full text has not been translated yet. The Chinese original is shown below.

文章配图

Ever tried. Ever failed. No matter. Try again. Fail again. Fail better.——Samuel Beckett。这是马辰最喜欢的一句话。

从 GPT-6 在演示里用 Blender 做三维建模,到 AI 短剧占据越来越多的屏幕时间,再到机器人走进真实场景,看似不同的应用,正指向一组共同的能力要求:理解物体在哪里、彼此如何关联、状态怎样随时间变化,以及采取行动可能带来什么结果。

面对这些任务,基础模型需要将有限、零散且不断变化的观测,整合为连贯、可更新的空间理解,并据此推理、预测与决策。这正是空间智能的核心命题,也是连接多模态理解、内容生成与物理交互的能力基础。

而让模型获得这些能力,究竟需要什么样的数据?

香港城市大学计算机科学系副教授、Data Intelligence Lab 负责人马辰,长期研究数据挖掘、数据驱动 AI 与数据价值。今年,他多了一项新职责:负责映界科技数据方向的预研工作。

在马辰看来,基模空间智能的瓶颈不只在架构,更在数据层:什么数据对任务真正有用、如何评测模型是否理解空间、评测结果又该如何反哺训练。这正是映界正在探索的方向——从多模态采集、空间结构化,到模型空间智能评测与后训练环境。

围绕这条路线,映界科技过去几个月已连续完成两轮种子轮融资,总计数千万元。

一顿火锅,和一句「count me in 」

回忆起和映界合作的起点,马辰说自己几乎没有犹豫。一顿火锅之后,他答应了创始人金依力的邀请。「他问我要不要一起做,我说没问题,count me in。」

当时,映界科技成立仅数月,方向是空间智能的数据与训练层。团队此前积累了空间感知、动态三维表征和多模态采集的经验,现在想把这套能力延伸到动态空间数据、模型评测和训练基础设施。

一个在大学里研究「数据智能」的教授,为什么选择一家刚成立几个月的创业公司?

吸引他的,是一个具体的问题:当基础模型开始进入真实世界,什么样的数据才能提升模型的空间智能?

这个问题听起来抽象,落在映界的业务里却很具体。公司要做的,除了采集更多数据,更重要的是判断哪些数据对模型有用、怎么评测、评测完又怎么反哺训练。马辰的研究,正好卡在这条链路里最容易被忽略、却决定数据能否产生价值的一环。

答应得这么干脆,也因为两人的关系比这次创业更早。在 2021 年,经一位同样出自 Steve Liu 门下的教授介绍,金依力便在线上向马辰请教过图神经网络相关问题。后来,他赴麦吉尔大学与 Mila 攻读联培博士,师从马辰的博士导师 IEEE Fellow、加拿大工程院院士 Steve Liu 教授,两人也由此成为同门师兄弟。直到 2024 年金依力赴香港访问,两人第一次在线下见面。

马辰当时对他的印象是「一个很乖的学生」。如今再谈起,他的评价变成了「非常全面的创业者 」。

文章配图

从左至右:马辰、Steve Liu、金依力

面对一支 00 后团队,身为 90 后的马辰戏称为「小天才搭配老伙计」。

年轻团队有活力和执行力,他更多参与研究方向的把控和建议。技术问题不因为资历预设谁说了算——「谁对听谁的」。他说,讨论之后自然会形成判断。

更吸引他的,是工业界贴近实际的问题。

映界创办之初,就拿到了带着真实场景的客户。学术研究里的问题常常经过精心裁剪,公司里则要面对数据噪声、效率和工程约束,更「dirty」、更 hands-on。

「你一定要去做,做了之后你才有 feedback,再去调整再去做。」马辰说。

团队的分工,也恰好对应映界路线上的不同环节:空间感知和采集团队把真实环境转化为数据,马辰的数据智能研究则帮助团队判断,这些数据对模型到底有没有用。

数据不是越多越好,问题是「对谁有用」

马辰长期研究数据与模型的关系。

在机器学习的各类任务里,数据并非越多越好。不同样本对模型的作用不同,关键在于它们是否帮助模型完成目标任务。

他把这个思路带到了空间数据上。

真实场景采集会产生连续视频、深度信息和其他传感器数据。其中有重复和噪声,也有关键但稀少的状态变化。对一个任务有价值的数据,对另一个任务未必有用。

「数据的价值,可能是对任务的增益来决定的。」马辰说。

这意味着,空间数据治理不能停在去重、清洗和标注。更关键的是建立任务关联:数据覆盖了哪些场景和状态?能不能支持模型提升特定能力?加入这些样本后,模型有没有可测量的改善?

但这并不意味着已经有了一个通用的「好数据」指标。

团队曾讨论,能不能用信息熵或信息论建立更普适的判断方式。问题是,数据价值与任务、模型和评测条件高度相关,通用度量仍然困难。现阶段常见的办法,是把数据放进模型或代理模型,观察它对目标任务的影响。

所以,数据选择更像一项闭环工作:先定义任务,再选择数据和评价指标,最后根据模型表现修正数据策略。

对映界来说,要回答的不只是「采多少」,还有「哪些数据能支持空间智能、哪些数据能暴露模型的能力边界」。

模型「看见」了,为什么还是不懂空间?

基础模型看过大量图像和视频,并不意味着它自动拥有稳定全面的空间智能。

二维画面是三维环境的投影。视频帧记录外观随时间变化,却未必直接提供对象身份、几何位置、遮挡关系或状态变化。

马辰举了一个例子。一个包裹从货架上被拿走,途中被遮挡,之后在别处再次出现。模型需要关联前后观测,判断是不是同一个对象,记录位置和状态变化。如果证据不足,它还应该保留不确定性,而不是给出没有依据的确定答案。

这类问题,要求系统超越单帧检测。

单帧检测回答「这一刻看到了什么」;动态状态表示还要回答「它之前在哪里、发生了什么、现在能否确认」。

跨视角、跨时间的身份关联和状态维护,是模型从视觉识别走向持续空间理解的关键。

沿着这个思路,映界把空间信息拆成几何、对象、关系、记忆和不确定性,并规划了从多模态采集、时空对齐、空间结构化,到动态追踪和预测验证的处理链路。

在采集端,他们的装置结合深度与红外等信息,为场景理解提供视觉之外的线索。

技术上的关键,还包括统一时间戳和坐标系、跨帧保持对象身份、记录轨迹与状态变化,并保留原始证据和数据来源。

经过这些处理,数据才可能从一段段视频变成可以按对象、时间、位置和任务检索、选择与核验的样本。

文章配图

实时动态语义空间信息

评测一个空间模型,不能只给一个总分

数据整理好了,还要有办法检验模型到底懂不懂空间。马辰团队最近在做空间智能基准研究,希望形成一套评测不同模型空间智能能力的 Benchmark 。

空间评测的输入可能是单张图像、多视角照片、完整视频、实时视频流、三维传感器数据,也可能是可交互环境。

任务则可能是测量位置、跨视角关联对象、预测未来状态、主动获取证据,甚至完成行动。

只看输入模态或一个总分,很容易把不同能力混为一谈。

给模型一段完整视频后提问,和让视频逐步到达、要求它边观察边更新记忆,评估的并不是同一件事。前者可以依赖事后回看,后者还要考验状态维护、响应时机和信息预算。

如果允许模型移动相机获取新视角,评测就从被动推理扩展到了主动观察和交互决策。

所以,模型答对一道空间问答题,不能单独证明它理解了真实空间。

更有解释力的评测,需要明确几件事:模型看到了哪些信息?能不能回看历史?是否允许交互?标准答案来自真实传感器还是仿真状态?最终分数对应的是几何精度、身份连续性、预测能力,还是任务成功?

真实场景也不天然等于可靠真值。

传感器标定误差、三维重建偏差和人工标注都会影响参考答案。仿真环境便于控制和复现,但仿真里的收益未必迁移到现实。

因此,评测需要说明证据来源,并通过未见场景、未来观测或受控交互来检验模型,而不能只依赖单一准确率或模型自评。

文章配图

空间智能基准评测体系

评测不是为了排名,而是告诉训练「下一步补什么」

在马辰看来,评测不只是给模型排名,更是为了指出下一轮训练应该补什么数据。如果模型频繁在遮挡后丢失对象身份,下一轮就需要针对遮挡、跨视角关联和状态恢复,构建数据和任务。

映界正在探索:用真实场景数据评估基模,再把模型的失败模式反馈到数据采集和训练中。公司把空间数据、评测基准和后训练环境列为重点方向。

后训练环境,为将失败模式转化为训练任务与学习信号提供了载体。它围绕模型暴露的能力缺口,将可重复执行的任务、模型可用的观测与交互接口,以及基于空间证据的验证机制组织在一起。模型通过观察、作答或工具调用完成任务,环境依据证据与任务规则核验结果、返回反馈或奖励,再由训练器利用交互轨迹与反馈更新模型。

相比只交付静态数据集,这种形式有机会真正接入模型的后训练流程。

但要让反馈可信,有个前提:系统需要确保用于核验的参考状态没有泄露给模型,并且让奖励对应真实的时空证据,而不是只判断答案听起来是否合理。

怎么证明这套方法有效?马辰提出,在同一基模、相同预算条件下比较不同监督方式,并进一步关注未见场景表现、任务成功率、失败恢复和接入成本。

这套评测最终要回答的,是空间监督是否让模型更可靠地完成任务。

在「robotics的 GPT moment 」之前

映界科技正沿着一条清晰的 pipeline 推进:数据生产工程、后训练环境与验证研究,以及客户模型接入。

这条路线的价值,最终要由实际结果说明:空间数据能不能进入现有训练管线?评测能不能定位模型短板?训练反馈能不能带来跨场景、可复现的能力提升?

马辰期待,未来会出现「robotics 的 GPT moment」。

但在那之前,空间智能还要经历更细致的任务定义和真实环境验证:从识别对象到持续追踪,从被动回答到主动观察,从模型分数到可核验的任务结果。

访谈最后,马辰提到自己喜欢的一句话:

Ever tried. Ever failed. No matter. Try again. Fail again. Fail better. ——Samuel Beckett

尝试过,失败过,都没关系;再试一次,再失败一次,但要败得更好。

这是模型在训练中提升智能的过程,也是科研与创业向前的路径:走进真实的 environment,从 observation 中理解问题,用 action 探索可能,依据 reward 修正认知,让每一次失败都留下可学习的信号,让每一次训练都有机会突破原有的边界。

文章来自于"机器之心",作者 "机器之心"。

Related topics

After reading

Join the AINRK community

Read how to join the community and connect with people working in AI.

Community information (opens in a new tab)