AI guides

全世界都在说超越了 PI,可他三个月没出新东西了。

By 瓦力2 viewsSource: 天南具身公园
全世界都在说超越了 PI,可他三个月没出新东西了。

大家好,我是瓦力,具身算法研究员。 我有个习惯,隔三差五都会去 PI 的官网刷一下,看他有没有新东西。最近这三个月,官网主页是一动没动,停在四月的 π0.7。

The full text has not been translated yet. The Chinese original is shown below.

大家好,我是瓦力,具身算法研究员。

我有个习惯,隔三差五都会去 PI 的官网刷一下,看他有没有新东西。最近这三个月,官网主页是一动没动,停在四月的 π0.7。

文章配图

群里也有朋友注意到了。有人开玩笑,说 π0.5 现在是全球最差的具身模型。为啥?因为从去年到现在,几乎每家新出的模型,benchmark 上都要把 π0.5 拉出来吊打一遍,再宣称大幅领先(手动狗头)。

文章配图

一个被所有人超越的模型,可不就是最差的嘛。哈哈哈,挺损的,但你还真没法反驳。

可从我一个做算法的角度来看,这事其实有点搞笑。全世界搞具身的都把 π 当做对比,反而恰恰说明了 π 就是标杆。

一个大家排队超越的模型,同时又是大家排队模仿的模型。这两件事怎么同时成立?

但讲真,几个月不见 PI 发新东西,自己是有些摸不到方向的。所以我干脆把 PI 从 π0 到现在的十几篇工作,从头捋了一遍,尤其是最近大半年的。捋完之后,想法有点出乎我自己的意料。

PI 可能不在大家拼命想超越的牌桌上,它换赛道了。

所以今天的文章想和大家聊聊这个话题:PI 这三个月的沉默里有没有藏东西,以及顺着这条线往下看,它接下来大概率要干嘛。

两条时间线

我把 PI 的十几篇工作系统分析了一遍,发现有比较明显的两部分。

前半段,2024 年底的 π0(第一个通用策略,flow matching 的动作专家)、FAST(动作 tokenization)、Hi Robot(听懂人话再多想一步)、π0.5(开放世界泛化)、Knowledge Insulation(训得快、推理得快还能保持 VLM 的知识)。

这些都是大脑的活儿,全在回答一个问题:模型能不能更聪明、能不能泛化到一个没见过的新场景。

后半段,大概从 25 年年中开始,画风开始有了变化。RTC、π*0.6、MEM、RLT、π0.7,一直到六月和英伟达合作的 SC3-Eval。

这些工作,没一个是在把大脑做得更大。

我最直观的感觉是,它们在回答另一个问题:一个已经部署下去的机器人,怎么在真实世界里活过第二个小时。

25 年年中这个拐点,就是 PI 悄悄下牌桌的时刻。这是我觉得比较有分界点的时刻。

国内还在盯着 PI 的前半段抄,在我和天南看来他们的后半段已经是另一个剧本了。

因为 PI 心里也清楚,护城河从来不在 paper 里那点架构。真正的壁垒,在后半段这些没法开源、也开源不了的脏活里。

这也能从侧面说明,为啥他们这三个月没东西对外。

文章配图

PI 怎么让机器人自己干活

后半段里,有两篇工作专门讲 RL,也就是让机器人自己学。

先说人话。传统 VLA 本质是背答案,也就是模仿学习。示范里人怎么操作它就怎么模仿,碰到一个示范里没有的烂摊子,它就傻在那了。

强化学习是另一条路:让模型自己上手做事,干砸了自己长记性。

第一条线是 RECAP,也就是 π*0.6。

三个阶段,最后一段直接在真机上跑,同时使用两种信号。

一种是专家在旁边纠错,机器人卡住了,遥操的人手把手教它怎么恢复,很像教练带练。另一种是让它自己反复试,训一个 value 函数去判断哪一步是好棋、哪一步是臭棋。

这个阶段,也直接开始引领国内真机RL趋势,至少我们组开始从这个时候关注真机RL。

文章配图

技术上有个点,它没走标准的 PPO 那套,而是把 advantage(这步比平均好多少)直接当成一个输入条件送回给模型。训练时全量数据留着,只是每条多加一个优势标注。数据一点不浪费,执行时你就让它专挑高优势的动作做。这很 PI。

第二条线是 RLT,负责的是精细活。

这个是真 NB,包括我自己复现还有和其他公司交流,RLT是真有用。至简那边的工厂落地,精度做到0.1mm,也是用的RLT。

具体做法是,给 VLA 加一个瓶颈,精炼出一个叫 RL token 的小东西,让一个很小的 actor 和 critic 在这个 token 上学,小到能在真机硬件上每秒更新几百次。

而且它不替换 VLA 的动作,是在动作的基础上做微调,等于给原动作做「精修」。插网线这种活,它 66 步搞定,人手遥操要 146 步,比人还快,而且只用了 15 分钟的真机数据。

文章配图

两条线分工特别清楚:RECAP 负责长程、大规模,RLT 管分钟级的精细活。

这已经不像在做研究了,更像在铺一套工具,主题就一个:机器人到了场景,怎么自己越干越好。

全是落地才会碰的破事

除了让模型自己学,后半段还密集地解决另外三件不 sexy 的事。

一是记忆。机器人长程任务会失忆。让它清理整个厨房,十几分钟,它记不住前面已经干过啥。

MEM 这篇给它上了双记忆:短时用一个高效视频编码器记住最近几秒,专门对付遮挡(手一伸过去挡住了,它还知道自己刚要抓的是啥);长时比较巧,把做过的事压缩成一句自然语言存着,比如「我用海绵擦了台面,然后用纸巾擦干了」。

靠这点,真机能做 15 分钟的长任务。

二是延迟。大模型推理慢,但机器人的动作得连贯,不能一顿一顿的。RTC 解决的就是高延迟下动作怎么不卡壳。

三是听不听话。π0.7 让你能在它干活的中途插一句嘴,把它纠正到你要的方向去,也就是可操控。

你发现没有,这三样没有什么宏大的叙事。但它们全是一个机器人到了真实场景,第二个小时才会集中暴露的破事。

做demo的一般不会碰,因为不出彩。可你要做产品落地,这些确实都绕不过去。

PI 后半段的力气,有一半花在这种地方。

说实话,如果你真做过多模态融合加长程任务就知道,记忆这一块有多招人烦,各种时序和维度对不齐。现在想想我都头大。

文章配图

π0.6 blog中连续七小时的工作记录

最不像 PI 会干的事

六月中旬 PI 和英伟达合作的 SC3-Eval,是最不像 PI 自己会做的事。

这个工作做的是评测,这部分的文章大家可以参考最近一个月,我们发现世界模型叙事有了集体转向。(在新窗口打开)

讲人话就是。具身里最烧钱的环节,其实不是训练,是评测。你改了一版模型,好没好?如果靠真机跑几百上千次,太费精力。

文章配图

SC3-Eval 让你不用真机也能知道:把策略输出的动作,送给一个视频世界模型,让它「脑补」出机器人接下来会怎么动的画面,然后直接给这段脑补打分。

难点在于脑补容易跑偏,越编越离谱。SC3-Eval 用了三重一致性来控制,不在这里赘述了。最后跟真机的闭环结果,Pearson 相关性做到 0.929。英伟达那边出的是 Cosmos 世界模型的班底。

在我看来,PI 一直是明确VLA路线派,虽然 π0.7 提了一嘴世界模型,但我没想到他们会和英伟达合作搞世界模型评测。

但这也不是 PI 主推的工作,世界模型本身我觉得不是 PI 之前的重点。可仔细琢磨之后也合理,技术本身没有优劣,好用才是标准。

想通了这一点之后,我觉得可以尝试推测下 PI 下一步的动作了。

斗胆预测一下 π1

现在把后半段这些零散的信息摆在一起:MEM 是记忆,RECAP 和 RLT 是真机 RL,SC3-Eval 是用世界模型评测。

关键的洞察是:SC3-Eval 里的世界模型,能力比较全面。能把这些能力都串在一起的,就是世界模型。

但如果 π1 是利用世界模型把这部分串起来,好像也没什么大不了,这些东西国内其实有人在做了。

我的看法是,π1 或者下个技术 blog 推出的时候。大概率还是沿着具身落地的叙事,在一个更宏大的场景落地上,赋予大脑更综合的能力。

这个能力是闭环的,但这个闭环我觉得会比我想象的更大、更完善和更务实。

实话讲,如果 π1 就是世界模型做闭环RL后训练、评测或者仿真,我应该也不会失望。我觉得会是一个更明确的落地信号或者指引。

想到这里,我其实有一些期待。

写在最后

说到这儿,可能有读者会抬杠:我前面不是说 PI 换赛道了吗?这不还是在更新模型。。。

这也是我想强调的地方。看完 PI 的每一篇文章,他们都在一步步解决新的问题。

π*0.6 加的是 RECAP,让它能从经验里学。π0.7 加的是可操控,让人类能中途修正一下。还有RLT、MEM等等,每一步都在解决具身在现实世界落地的小点。

摒弃更宏大的技术叙事,把技术能力慢慢收束。

PI 的版本号也没有1.0、2.0、3.0的猛冲,换句话说,他们自己也认为现在做的事情都不是很质变的。

嗯,量变还在积累。这一点也想跟大家强调一下。

再回头看 π*0.6 那个星号,它其实是整条时间线里比较关键的一次跳变。它标记的,是这模型从一个被训练出来的死物,成长为一个自己会进化的活物。

而一个活的系统,是没有 1.0 的。它只有闭环合上的那一刻。

搞不好下次的模型叫,π♾️。

写到这里,感觉 PI 三个月没更新,可能是他们当下在做的事情本身就比较枯燥,但这个阶段需要枯燥的量变积累。

下次再有人笑 π0.5 是全球最差的模型,我就这么跟他说:所有人都在超越 π,可 π 还是那个 π,至少现阶段仍然是。

文章来自于"天南具身公园",作者 "瓦力"。

Related topics

After reading

Join the AINRK community

Read how to join the community and connect with people working in AI.

Community information (opens in a new tab)