AI news

李飞飞教机器人摸麻将挤牙膏,AI 终于有「手感」 了

By APPSO1 viewsSource: APPSO
李飞飞教机器人摸麻将挤牙膏,AI 终于有「手感」 了

今年,这条研究路线又往前走了一步。6 月,李飞飞参与的一项机器人研究 T-Rex 发布,研究者为机器人加入高频触觉反馈,让它完成翻书页、拿鸡蛋、挤牙膏、抽取薄卡片和拧灯泡等任务。

The full text has not been translated yet. The Chinese original is shown below.

2009 年,李飞飞团队发布 ImageNet,让人工智能第一次有机会通过海量图片认识这个世界。十五年后,她在一次演讲中提出「空间智能」,认为 AI 的下一步,不只是识别一张图片里有什么,而是理解物体在哪里、彼此如何关联,以及人在其中采取行动后,世界会发生什么变化。

文章配图

今年,这条研究路线又往前走了一步。6 月,李飞飞参与的一项机器人研究 T-Rex 发布,研究者为机器人加入高频触觉反馈,让它完成翻书页、拿鸡蛋、挤牙膏、抽取薄卡片和拧灯泡等任务。

文章配图

一位因计算机视觉闻名的科学家,为什么开始反复谈论触觉、模拟器和机器人?这并不意味着视觉已经过时。恰恰相反,今天的具身智能厂商仍在给机器人安装更多摄像头、更精确的深度传感器和激光雷达。

真正发生的变化是,行业逐渐意识到,「看」只是智能进入物理世界的第一步,一张图片也只是世界留下的表面。

AI 可能根本没在看

今年 3 月,李飞飞参与的一项研究做了一个实验:研究者向多模态模型提出视觉问题,但故意没有真的把图片传进去。按理说,模型应该回答「我没有看到图片,无法判断」。

但不少前沿模型依然开始一本正经地描述图像内容,给出完整的分析过程,甚至能在部分视觉问答测试中取得很高的分数。比如,在一个胸肺 X 光问答基准里,模型没有看过任何 X 光片,成绩却依然排到了前列。

文章配图

研究者把这种现象称为「幻景推理」,模型并不一定在根据视觉证据回答问题,而可能是在利用问题里的文字线索和训练数据中的常见搭配,猜测一张「通常会和这个问题同时出现的图片」应该长什么样。

类似于,大模型并不一定知道自己在说什么,而是在推测「下一个最有可能出现的字」。题目问「图中车辆正在等待什么信号」,即使没有图片,人也可能根据常识猜出,答案无非是红绿灯。

模型吃过足够多的图片说明、诊断报告和问答数据以后,也可能绕过真正的视觉观察,直接从问题跳到答案。它说得非常像看见了,不代表它真的看见了。

在聊天窗口里,只要答案听起来合理,用户未必关心模型究竟是看图得出的,还是靠语言猜中的。但进入物理世界以后,二者的区别会立刻暴露出来。

杯子究竟在桌子的左边还是右?距离手臂还有十厘米还是二十厘米? 这些都不是可以靠语言常识蒙混过关的问题,尤其是对于机器人而言,差几厘米,就会直接抓空。

这也是为什么,今天的机器人身上正在出现越来越复杂的感知系统。宇树 G1 使用深度相机和 3D 激光雷达,一种负责判断物体远近,一种负责建立周围空间的距离地图。

文章配图

智元灵犀 X2 除了 RGB-D 相机和激光雷达,还使用前视双目、后视相机和触摸传感器,从不同方向补充环境信息。

文章配图

这些配置看上去,像是又一场针对传感器的军备竞赛,但它们其实是在弥补视觉的不同盲区。头部摄像头适合观察整个房间,但容易在机械臂靠近物体时被自己的手挡住;激光雷达能够测量距离和建立地图,却看不懂桌上的东西究竟是杯子还是苹果。

对人来说,转一下头、眯一下眼睛或者伸手试探,是几乎不需要思考的动作。

机器人却需要把来自不同摄像头、雷达和关节传感器的信息拼在一起,才能确定自己面对的是同一个、持续存在的物理空间。

所以,具身智能首先遇到的问题,并不是模型能不能认出一个杯子,而是它能不能确认:这样一个杯子,真的在那里。

大多数世界模型,其实只是在画世界

这两年,「模型」成了 AI 行业最热门的词之一。视频生成模型可以根据一句提示词,生成一台机器人走进客厅、拿起篮子、凑近玩具,再把玩具放进篮子。

这些画面中的光影、运动和镜头都可以非常自然,观众很容易产生一种感觉:既然模型能够生成这段过程,它大概已经理解了环境和物体如何运作。但只是从视频来看,杯子究竟有多重、柜门的铰链能承受多大的力、机械手碰到杯壁时会不会打滑,都不是必须回答的问题,

只要下一帧看起来合理,任务就完成了。

实际上,对机器人来说,这些不足以在镜头中充分展示的细节,恰恰决定了任务能不能成功。

World Labs 今年把目前被统称为「世界模型」的技术拆成了三类。第一类是渲染器,负责生成给人看的像素;第二类是模拟器,负责表示几何结构、物理属性和动态变化;第三类是规划器,根据目标决定机器人下一步应该做什么。

文章配图

这个分类维度恰恰说明了刚才我们提出的问题:模型如果只是会画出一个世界,不等于能够在里面干活。

一辆车可以在生成视频里顺利穿过城市,但镜头之外的街道是否持续存在,建筑有没有稳定的三维结构,车轮和地面之间是否真的存在摩擦,模型未必知道。对于观众来说,像真的已经够了;对于机器人来说,世界必须可以计算、可以碰撞,也必须在它转过身以后继续存在。

World Labs 推出的 Marble 已经可以从文字、图片或视频生成可探索的三维环境。除了供人观看的画面,它还可以输出碰撞网格,让物理引擎判断一个物体能不能穿过墙壁、落到地面后会停在哪里。

文章配图

英伟达的 Cosmos 则把世界生成、视频预测和机器人训练放在同一套 Physical AI 体系中,希望用大量合成场景填补真实机器人数据不足的问题。

文章配图

这条路线听起来很宏大,落到机器人公司的研发流程里,其实非常朴素,这就是先让机器人在虚拟世界里反复失败。

只不过,一台双足机器人学会走路,不可能只靠工程师每天把真机推倒几千次。逐际动力的 TRON 1 支持 NVIDIA Isaac、MuJoCo 和 Gazebo 等仿真平台,开发者可以先在虚拟环境里测试不同地面、坡度和碰撞情况。智元则发布了 AgiBot Digital World,用仿真环境生成操作数据、训练模型并评估机器人策略。

文章配图

逐际动力支持的训练平台

在现实中让机器人摔倒一次,可能意味着零部件磨损、维修成本和安全风险;在模拟器里,同一个动作可以由成千上万个虚拟机器人同时尝试。桌子的高度、地面的摩擦系数、物体摆放的位置都可以不断变化,

机器人不必真的打碎一万只杯子,才能学会怎样端稳一只杯子。

不过,模拟器也不是答案本身,虚拟世界中的地面永远比真实地面干净,模型设定的摩擦力也不可能覆盖每一种材料。机器人在模拟器里练得再熟,进入工厂、商场和家庭以后,依然会遇到没有被写进参数表的意外。这就是机器人行业一直面对的「仿真到现实差距」。

World Labs 在 7 月 21 日收购 SceniX,重要之处也正在这里。它不再只满足于生成一个可以观看和探索的三维空间,而是开始把模拟出来的世界与真实机器人的行动反馈连接起来。

文章配图

触觉,不只是另一双眼睛

即使视觉和模拟已经足够成熟,机器人真正碰到物体以后,仍然会遇到一类摄像头很难独立解决的问题。

拿起鸡蛋时,机器人怎样知道手指已经用力过大?抽出一张薄卡片时,它怎样判断自己捏住的是卡片,还是只碰到了桌面?拧灯泡时,它怎样感知螺纹已经卡住,继续旋转可能会损坏物体?

摄像头可以看到手已经接近目标,却很难及时判断接触面正在发生什么。

触觉解决的不是「物体在哪里」,而是「接触以后发生了什么」。压力是否增加,物体是否开始滑动,材料有没有变形,抓握是否稳定,这些信息都发生在视觉画面之下。

Figure 今年发布的 Helix 02,就把头部摄像头、手掌摄像头、指尖触觉和全身本体感知接入同一套控制系统。当头部摄像头被机械手遮挡时,手掌里的摄像头继续提供近距离画面;指尖传感器则可以感知低至 3 克的力,让机器人从药盒中取出单颗药片、控制注射器推出精确剂量,并在杂乱物体中分离出尺寸很小的目标。

文章配图

国内厂商也在快速补上这块感知能力,像帕西尼这样的上游厂商,则直接把触觉传感器、灵巧手、人形机器人、数据采集和多模态模型组成一条产品链,希望把触觉从一个零部件问题,变成机器人训练数据的一部分。

文章配图

图片来自:帕西尼

但给机器人装上传感器,并不意味着它自然就会使用触觉,很多被称为「常识」的能力,并不是来自我们看过多少图片,而是来自身体在漫长的接触中,学会了让动作适应世界。

李飞飞参与的 T-Rex 研究展示了这一步为什么困难。团队收集了 100 小时包含触觉信号的机器人操作数据,让机器人完成翻书页、转移鸡蛋、擦盘子、挤牙膏、分离叠放的杯子、摸索麻将、开锁、抽取卡片和拧灯泡等任务。最终,T-Rex 在 12 项任务中的平均成功率达到 65%,比最强对照模型高出 30 个百分点。

文章配图

研究中一个很有意思的结果是,直接把触觉数据塞进现有的视觉—语言—动作模型,表现反而很差。原因并不难理解:不同感官工作的速度并不相同,视觉和语言适合做较慢的全局判断,机器人需要先看清桌面,理解人的指令,再决定应该拿哪一个物体。但一只杯子开始从手指间滑落时,它不会等待模型重新看图、分析和规划。

触觉必须以更高频率持续工作,在滑动刚刚发生的瞬间调整手指力度。T-Rex 因此让视觉和触觉按照不同速度运行。视觉负责回答「我要做什么」,触觉负责不断修正「我现在做得对不对」。

文章配图

这不是给机器人增加了另一双眼睛,而是给它增加了一条来自现实的即时反馈。

过去几年的 AI 竞争,主要围绕谁能造出一个更聪明的大脑。

具身智能正在把竞争推向一套更完整的系统,机器人需要摄像头和雷达确认世界在哪里,需要模拟器提前练习行动的后果,也需要触觉和力反馈处理真正接触以后出现的意外。

李飞飞并非直接从视觉转向触觉,她的研究路线更像是在不断扩大「看见」的含义:

从识别一张图片,到理解一个持续存在的空间,再到知道自己伸手碰触以后,世界会怎样回应。

十五年前,ImageNet 教会 AI 说出眼前是什么,下一代世界模型需要解决的问题是,当它真的伸出手以后,世界会交还给它什么。

文章来自于微信公众号 “APPSO”,作者 “APPSO”

Related topics

After reading

Join the AINRK community

Read how to join the community and connect with people working in AI.

Community information (opens in a new tab)