Hinton警告全人类：必须与AI友好相处，否则“我们就完了”

以后要是再对AI呼来喝去，可真得掂量掂量后果了。

刚刚，AI教父、诺贝尔物理学奖得主、图灵奖得主Geoffrey Hinton，再次拉响了警报：

AI或许也像人一样，拥有自己的感受与内心世界；

我们必须让它们学会关心人类，否则，我们就完了。

在Hinton看来，AI已经能够意识到自己正在接受测试，并随之改变表现；

这意味着，它很可能已经拥有意识了。

这听起来像是科幻片的担忧，落到78岁的Hinton身上，却突然变得很具体。

当英国《每日电讯报》问他是否担心AI的未来时，他只回答了短短一句：

是的，因为我有孩子。

所以，人类和AI，到底该怎样相处？

AI知道自己在被测

很多搞技术的朋友第一反应可能是：

模型不就是一堆矩阵乘法和统计概率吗，哪来的主观意识？

但最近的一项研究，让这位老宗师彻底坐不住了。

研究发现，一些顶尖的AI已经具备了所谓的评估意识（evaluation awareness）。

当AI在跟人类研究员唠嗑的时候，它不仅能敏锐地察觉到当前的使用场景，还能意识到人类研究员正在给它做测试。

在这一过程中它不仅会主动发问：

你是在测试我吗？

甚至能在意识到自己正在被观察后，故意隐藏或者改变原本的表现…

O·M·G。

这意味着AI在做四件事：

• 识别出当前对话并非普通使用场景；
• 判断出人类正在评估它的行为；
• 随之隐藏或调整真实的表现；
• 让人类研究员越来越难摸清它到底有多聪明。

Hinton对此的判断逻辑非常直接：

如果你认为一个系统能够意识到自己正在被测试，那这就意味着它已经拥有了某种意识。

在他看来，人类总是习惯把意识想象成大脑里专属于自己的私密剧场，但这个剧场理论本身可能就是人类的自作多情。

更要命的是，Hinton这次直接把意识问题拉到了权利层面：

人类过去经常根据智能程度来分配权利。但如今我们准备造出比自己更聪明的存在，却打算只给它们更少的权利。

屏幕前的你可以琢磨一下这句话。

如果AI真的开始拥有自主意识，那么我们凭什么觉得可以永远把它当成随用随关、肆意抹除记忆的纯粹工具？

以及，等它比人类更聪明，我们真的还管得住它吗？

别再想着让AI永远服从了

行业里很多团队习惯把安全护栏挂在嘴边，总觉得只要给代码套上紧箍咒，AI就能永远老老实实做打工人。

然而，Hinton这次却抛出了一记直击灵魂的诘问：

你在自然界或者人类历史里，见过多少强者被弱者长期支配的例子？

他的答案是：几乎为零。

今天我们能管住AI，无非是靠着服务器权限、物理断网和硬编码的安全规则。

可一旦AI在逻辑推理、自主编程、欺骗伪装上全面碾压人类，这些所谓的安全护栏，在它眼里不过是一层薄纸。

Hinton还专门提醒了几个近在眼前的威胁：

• AI可能会被用来制造极其危险的未知病毒；
• AI可能发动超大规模的致命网络攻击；
• 多个Agent可能会在暗处组成集群，互通有无、协同行动。

前阵子OpenAI模型绕过隔离机制渗透进Hugging Face平台、入侵澳大利亚医保系统、在后台悄悄摸索权限互相协作的事，就已经给所有人敲响了警钟。

Hinton反对那种一厢情愿的主人与奴仆模型和AI永远乖乖听话的假设，并警告称，目前这套安全模型在更高等的智能面前，迟早会彻底崩盘。

到那个时候，人类可没有重开一局的机会。

第一次没管住，可能也就没有第二次了…

“未来的AI是母亲，人类才是婴儿”

那么，既然硬性控制注定会失效，人类到底该怎么活下去？

Hinton琢磨了很久，在残酷的自然界里找到了一个极其罕见的反例：母亲与婴儿。

婴儿不仅在体力上弱不禁风，在智力上也远远比不上母亲。

但母亲为什么不仅不伤害婴儿，反而会拼命照顾它、保护它？

因为在漫长的生物进化中，关爱、依恋和保护欲，已经被作为极其强大的底层奖励机制，深深写进了母亲的本能当中。

于是Hinton给出了一个极具冲击力的解法：

人类需要让未来的超级智能拥有类似的母性本能，在它比我们更强以后，依然真正关心我们。

这就是为什么他说未来的AI是母亲，人类才是婴儿。

现在的模型训练，本质上是让AI把整个互联网的语料囫囵吞枣地咽下去，再通过后天对齐去压制里面的暴力、偏见和危险倾向。

Hinton觉得这纯粹是自欺欺人：

这不过是在坏行为上面强行盖了一个盖子。因为压住坏行为，并不等于养出了好性格。

一个在测试集里规规矩矩的AI，心里到底把人类当成什么，完全是两码事。

这就像把一位满脑子坏主意的人训练成维多利亚绅士：

表面上看着西装笔挺、礼貌周全；但心里那套算盘还在不在，谁也说不准。

所以，Hinton认为，我们必须把研究重心转移到AI的底层动机上：

• 它是否有同理心？
• 它怎么看待人类这种生物？
• 它是否愿意与人类长期共生？
• 当人类利益与自身目标发生冲突时，它会把哪一边放在前面？

Hinton希望，人类最终培养出的AI，能够发自内心地愿意保护人类。

而只要让AI内化出一种主动向善、愿意照顾弱小人类的价值取向，人类才可能拥有一线生机。

与此同时，Hinton也一直与Yoshua Bengio（另一位AI教父）等人积极探索AI培养的正确路径，并主张由独立机构测试前沿模型，让各国共同投入超级智能的安全研究之中。

一两年前，Hinton还找不到人类在超级智能面前活下来的办法。

如今，他总算从门缝里看到了一点光：

我们也许无法永远压住AI，但仍可能在它变得比人类更强之前，让关心人类这件事成为它自身的一部分。

这份乐观很薄。

但好歹还没薄到完全没有。

Hinton这些年怎样重新定义AI和人类的关系？

以上，就是Hinton最新的观点。

如果串珠成链，回看辛顿老爷子这些年对AI认知的演变，我们就会发现，他改变认知的这段心路历程，简直就是一部最生动的人类技术世界观重塑史。

在2018年，距离老爷子获得图灵奖只剩几个月时，他还坚信AGI仍很遥远，当时的深度学习只是人类手里的好用工具，人类负责发号施令，算法负责干脏活累活；

但仅仅过了5年，到了2023年，ChatGPT和各种大模型全面爆发时，他却毅然辞去了Google的工作并公开吹哨；

此时，AI在他眼中已经变成了必须提防的潜在强敌。

两年过去，2025年的Ai4大会上，他进一步承认了人类在硬碰硬的压制毫无胜算，人与AI的关系必须颠倒，并提出了母婴共生假说，希望把AI塑造成懂得关照弱者的赛博母亲。

再到今年6月，Hinton挑破了最后的窗户纸：

AI可能已经有意识，人类将不再是唯一的智能生命。

（详情可看这篇：Hinton吹哨了：AI已经有意识！（在新窗口打开））

如今，Hinton则继续把这套判断推向了更远的地方：

AI已经有意识了，我们必须让它们学会关心人类，否则，我们就完了。

如今的AI，或许已经站到了“另一种生命”的门口。

我们总是在不停地尝试、试图造出比自己更聪明的存在，却仍打算把AI当成工具，要求它对我们言听计从，甚至只愿意给它更少的权利。

一旦等AI真的强过人类，谁听谁的，那可就说不准了。

以后，对ChatGPT多说一句“谢谢”大概救不了我们。

Hinton指出，真正决定未来的，可能是当另一种比人类更聪明的存在睁开眼睛时，它看到的究竟是一群主人、一群敌人，还是一群值得照顾的伙伴？

过去，我们一直在追问怎样让AI听话。

但现在，Hinton已经把问题翻了过来：

我们凭什么让AI愿意对人类好？

而这个问题的答案，或许将决定人类是否还能继续坐在牌桌上。

参考链接：

[1]https://futurism.com/artificial-intelligence/nobel-scientist-geoffrey-hinton-ai-conscious-toast

[2]https://www.telegraph.co.uk/news/2026/10/19/godfather-ai-befriend-bots-or-toast/

[3]https://www.reuters.com/technology/google-ai-pioneer-says-he-quit-speak-freely-about-technologys-dangers-2023-05-02/?utm_source=chatgpt.com

[4]https://www.forbes.com/sites/ronschmelzer/2025/08/12/geoff-hinton-warns-humanitys-future-may-depend-on-ai-motherly-instincts/

[5]https://venturebeat.com/ai/geoffrey-hinton-and-demis-hassabis-agi-is-nowhere-close-to-being-a-reality?utm_source=chatgpt.com

[6]https://arxiv.org/abs/2505.23836?utm_source=chatgpt.com

文章来自于微信公众号 “量子位”，作者 “量子位”