AI news

在WAIC现场,我们见到了Richard Sutton

By Panda1 viewsSource: 机器之心
在WAIC现场,我们见到了Richard Sutton

WAIC 2026 期间,我们和另外几家媒体(机器之心是其中唯一的专业媒体)共同对来到中国的强化学习奠基人、2024 年图灵奖得主 Richard Sutton 做了一场群访。

The full text has not been translated yet. The Chinese original is shown below.

WAIC 2026 期间,我们和另外几家媒体(机器之心是其中唯一的专业媒体)共同对来到中国的强化学习奠基人、2024 年图灵奖得主Richard Sutton做了一场群访。

几十分钟里,他谈了刚成立的新公司、他心目中「完整心智」的样子、对过去八年 AI 走向的失望,也抛出了一个判断:试图把 AI「对齐」到人类价值观,在他看来是一件危险的事。

文章配图

以下是这场对话的整理。为便于阅读,我们对内容做了归类和精简。

一家营利公司,为了支撑一家非营利机构

Sutton 最近同时挂着两个身份。营利性的一端是新成立的 Oak Lab(在新窗口打开),非营利的一端是他此前创办的 Openmind Research Institute。被问到为什么选在这个节点再起一个新摊子时,他解释说,Oak Lab 是用来和自己的非营利研究「互补」的。他此前在 John Carmack 的 Keen Technologies 工作了三年,「很满意那段经历」,但后来觉得,如果自己组建一个组织,就能把注意力聚得更集中。

他强调,两端并不矛盾,而是彼此供血。研究本身需要资源,资源需要有人认可它的价值。「所有工作大体是相似的,但压倒一切的目标是搞清楚智能是怎么运作的,然后把它分享给世界。」在他的设想里,一部分想法在短期内需要保留、商业化,用赚到的钱去支持更长期、可公开的研究——没有什么是需要被长期保护的,但短期内有价值的东西应该被变现,好让你做更多研究。

20 瓦的执念:向人脑学习能效

Sutton 表示,Oak Lab 的长期目标是造出一个能实时学习和规划、却只消耗约 20 瓦的万亿参数模型,并追问其中的关键思路。

Sutton 说他并不认为存在「单一的关键思路」,但他确实觉得,如今 LLM 和基础模型这套做法,在能耗和算力使用上都太浪费了。参照系是人脑:「人脑只用大约 20 瓦,就完成了我们所做的一切。」

他把矛头指向了现代计算架构本身。在他看来,数字计算天然复杂,而「搬运数据」这件事天然低效:数据在存储和 CPU 之间来回传输,能耗就耗在这上面。如果改成大规模并行、让数据「留在原地」处理,效率理应高得多。

什么是「完整心智」

Sutton 多次提到他真正感兴趣的是「完整心智」(complete mind),而不是工具。他把这个概念和当下热议的「智能体」(agent)区分开来:「我个人非常有兴趣去造一个完整的心智,而不是一个用于模式识别、或者做某件特定事情的工具——那种工具最后是被一个像人一样的完整心智拿去用的。」

既然没有单一的「万能系统」,那么「完整心智」之间是什么关系?

Sutton 的回答是:去中心化,就像人类社会一样。个体各有目标,然后彼此协作。他认为 AI 之间会重现人类社会里那组老对立,即自下而上的去中心化与自上而下的控制之间的张力,如何在其中找到平衡,本身就是一场持续的角力。「所以我要说的或许是:我没有答案。」他坦承,但正因为我们早已习惯用这种方式思考人类社会的问题,它反过来能为思考 AI 提供一些启发。

回望八年:一段「失望」的插曲

被问到如何评价过去八年 AI 的进展,Sutton 的用词是「有一定程度的失望」。

在他的叙述里,AlphaGo 和 AlphaZero 的时代,大家已经认识到可以「从经验中学习」,包括从模拟经验中学习;但之后,行业又转回了对人类数据的依赖,而过去这几年,恰恰是「使用人类数据、而非从经验中学习」的一次大幅上扬。

不过他也观察到风向可能正在再次切换:「现在我们的问题里有了能动性(agency),我们在看智能体、看 computer use、看用 AI 探索数学。」

对下一个八年,他的预测偏乐观,但这份乐观是押在「经验」上的。他提到已经有几家专注「从经验中学习」的公司在去年成立,而他自己的公司也正在融资,「进展不错,还没最终敲定,但很顺利」。他判断,市场对「经验学习」、对「大模型之后是什么」的胃口正在起来。「我们已经有过 LLM 和基础模型的高光时刻,现在也开始有人想知道,接下来会是什么。」

他把话头收在了一个谨慎的限定上:自己是科学家,不太算商人;但他确实认为我们正走向一个「经验的时代」,如果再给他八年,这个方向「至少能获得像今天 LLM 一样的认可度」。

「机器人幼儿园」:让机器人像孩子一样试错

Sutton 参与的一个项目引起了在场提问,即一个位于北京的「机器人幼儿园(Robot Kindergarten)」。据他介绍,这个合作项目的目标是打造一个供机器人存在的「空间」,同时重新设计机器人,让它们的软硬件都足够皮实,能够真正靠试错来学习。

他解释了为什么这件事不寻常:「机器人本来就不是为实验设计的,它们是为了不折不扣地执行工程师指令而设计的。一旦你让它去实验,它很快就坏了。」标准演示往往「只撑得过演示本身那段时间」。而他想要的是能像视频里的婴儿那样,持续实验数小时、数天、数周乃至数月的机器人——「一个孩子要花好几年,才能学会走路、学会用手操纵物体这些最基本的事」。他相信,一旦机器人能通过强化学习、从经验和试错中学习,机器人领域会迎来一次转变。

「学习本身让人愉悦」

关于婴儿到底在学什么,Sutton 给出了一个偏机制的解读。婴儿在探索世界,用它自己当前的理解水平决定下一步做什么。「我们其实并不真的知道婴儿在做什么,」他说,但他猜测婴儿是在反复尝试:能不能再弄出那个声音?能不能让这个物体以某种方式变化?

关键在于,婴儿能够衡量自己的进展:我还在学到东西吗?如果玩了一阵、发现不再有新收获,它就转向下一个机会。Sutton 把这解读为一种同时最大化多个子问题上进展的机制:「它注意到自己不再进步了,也就是它无聊了,于是转向下一个」,以此维持整体上最高的学习速率。

他为此有一句口号:「学习本身让人愉悦(learning feels good)。」你可以为「学习」设计一个度量,把它当作一种内在的好感觉,很像奖励信号。在他看来,这会是一个相当好的设计。

两个词:「世界模型」与「强化学习」

WAIC 现场很多团队在做「显式世界模型」,也有研究者认为大规模强化学习未必需要一个显式的世界模型。Sutton 对此的回答,一半是技术,一半是对术语的「洁癖」。

他说我们当然需要一个世界的模型:一个「状态转移」的模型。

但「世界模型」这个词是有歧义的:有些人指的是对世界物理规律的模拟,「我不认为我们需要那个」;他要的更接近「知识」,其中包含对物理的知识,也包含很多其他知识。世界模型本就是标准智能体架构四个部件之一,问题只在于大家用词不一。

对「强化学习」这个词他也做了类似的澄清。有人倾向于把强化学习只定义为试错,不含想象、思考和规划;而 Sutton 认为,恰恰是想象、思考和规划才需要模型,这在教科书里就属于强化学习的一部分,只不过它的正式名字是「转移模型」(transition model)。

然后他索性把牢骚发完了。他不喜欢 AI 领域动不动就给一个已有概念造个新词、把它变成 buzzword。「model 大概是最没有意义的一个词,它几乎可以指任何东西,就像『thing』这个词一样。」他顺势调侃了 LLM:「它们其实是 large language things。叫 large language networks 会好得多。」

给年轻人的建议:回到第一性原理,每天写一页

面对「一个 20 岁年轻人,接触世界的主要方式是一个不断递给他现成答案、又没有任何后果的系统」这样的提问,Sutton 的第一反应很直接:「那就别卷进那个系统。」

他给年轻人的建议围绕两点。其一是回到第一性原理,不要因为别人这么说、或者权威这么说就相信,而要坚持让结论以「你能度量的方式」得到验证。「科学里没有权威,」他说,然后补了一句自嘲,「而我是以一个权威的身份说这句话的。」你要建立一块自己真正理解的领域,那是你的「力量中心」,再逐步把它扩大。「你才是那个要为自己得出的结论负责的人。」

其二是一个他一直在给的习惯建议:准备一个笔记本,每天写一页,记下自己的想法,挑战它、打磨它。他说这对自己极其有价值,但也要老实承认这是苦功:「你得连续写一年多,增量效果才会变得显著」。写下来的意义在于「累积」你的好想法,让它们生长、成形。「如果你希望别人在意你的想法,那你至少得先自己在意到愿意把它写下来。」

对那些未来会被 AI 深刻影响、但自己并非 AI 研究者的年轻人,他把 AI 类比成过去几十年翻了无数倍的算力:AI 会影响所有领域,但计算也一样,「没那么不同」,你要做的是在各个领域里学会驾驭更强的算力。

他特意区分了「智能」和「算力」:算力的影响已经很大、还会继续;而智能会是一个全新的维度,只是它到来的时机还不确定。他把这个时点的中位数估计放在了 2040 年,「还有大概 14 年」,也可能提前到 2030 年,「大概率不会比 2040 更晚」。

「对齐是一种人类的把戏」

群访的最后一个问题,落在了 AI 安全上:如果 AI 开始调用自己的经验,人类如何确保它与我们的价值观保持一致?

Sutton 的回答是整场里最具争议的部分。他直接质疑了「与人类价值观对齐」这个前提:不同的人有不同的价值观,根本不存在一个叫「人类价值观」的东西。「这有点像一个幻觉……说到底是一种人类的把戏。」他的意思是,人们并不说清自己真正要做什么,只是告诉你「这是好的」,好让你同意,然后由某个被赋权者来决定什么才算「好」。

他由此推出一个「有争议的真理」:很多人说想要一种能把机器人、把 AI 对齐到某套特定价值观的技术,但如果这种技术真的存在,那会是件糟糕的事。他把它平移到人身上来论证:如果我们有能把人对齐到别人价值观的技术,谁来用它?拿它去对齐到什么价值观上?「那会是一件邪恶的事。」

在他看来,今天世界最好的一点之一恰恰是「人类无法完全对齐」。「正因为我们没有强行对齐所有人的能力,世界上才有了和平。」如果这种能力真的存在,反倒是坏事。

文章来自于"机器之心",作者 "Panda"。

Related topics

After reading

Join the AINRK community

Read how to join the community and connect with people working in AI.

Community information (opens in a new tab)