iWSP让大模型编程设定网络权重,算法任务与语言任务表现分化

研究团队报告,用Opus 5.5在13类算法任务的26次运行中编写Transformer权重,隐藏测试准确率均为100%。方法不靠梯度优化这些网络,但仍依赖大模型既有知识和评测迭代,自然语言任务表现有限。
编辑核对(2026年11月21日):算法隐藏集全对仅对应论文中的Opus 5.5实验;166参数是其达到可见集满分的最小候选网络规模中位数。方法不以梯度训练所编程网络,但依赖已训练大模型的先验,脑编码评估仍拟合岭回归读出,不能解读为所有AI训练都被取消。iWSP原论文:方法、实验范围与表A2(在新窗口打开)作者公开代码(在新窗口打开)
在论文设定的13类算法任务、26次独立运行中,Claude Opus 5.5编程构建的候选网络,在各自隐藏测试集上都达到了100%的准确率。这里是指定评测任务的结果,不是一个网络通解全部问题,也不保证覆盖所有可能输入。
这项实验没有用反向传播或梯度下降来训练被编程的目标网络,而是由已经训练好的大语言模型利用既有知识和评测反馈编写权重;不能理解为整个过程从未依赖模型训练或数据。
这些小巧的目标神经网络,是Claude Opus 5.5用代码逐步设定权重构建出来的;执行编程的Opus自身并不是这些小网络。
近日,微软研究院联合约翰斯·霍普金斯大学、哥伦比亚大学和纽约大学的团队,发表了新研究「可解释权重空间编程(iWSP)」。
这项研究表明:在指定任务中,前沿大语言模型可以不通过优化器训练目标网络,而是依据固定评测反馈,设计计算逻辑,并用代码将算法写进Transformer的权重。这个结论限定于文中的实验,不意味着所有网络或任务都能用同样方式解决。

不用反向传播,AI直接当起「钟表匠」
深度学习常被戏称为「炼丹」。
整个过程,就像一群盲人围着一台布满几亿个旋钮的巨大控制台,谁也看不见里面长什么样,只能凭机器偶尔发出的「报错声」,摸索着拧这个、转那个。
几万步迭代下来,机器居然真就正常运转了,某些任务甚至比人类自己还高,堪称「原地飞升」。
可你要是追问一句:哪个旋钮管逻辑?哪个旋钮管记忆?没人答得上来。
总之,效果拔群,原理不详——旋钮拧对了是玄学,拧错了是事故,中间隔着一整片无人能解释的黑箱。
在工程应用上,只要预测得准,这勉强可以接受。但在脑科学、物理学等极其严肃的科学探索中,这个缺陷太致命。
正如研究团队所指出的核心痛点:
神经网络预测得很好,但很难被理解。在以『解释』为终极目标的科学领域,这是一个严重的问题。
以神经科学为例,深度编码模型能够非常准确地预测大脑对自然刺激的反应,但它们却根本说不出,究竟是刺激中的「哪些特征」驱动了这些反应。
为了改善这一问题,团队提出iWSP:不对所编程的目标网络使用反向传播,而是让已训练的AI代理直接设定权重。脑编码实验中,特征网络由代理编写,评估器仍会拟合从特征到脑响应的岭回归读出。
在iWSP的框架中,Opus 5.5化身为创世者。
它完全颠覆了传统的工作流:
- 纯粹的推理:面对算法或NLP任务,系统不允许对目标网络进行基于梯度的训练。代理可以了解任务与可见样例,迭代时由固定评估器返回验证分数,再据此修订权重编写代码;这不表示作为代理的大模型从未经过训练。
- 手写权重:Opus必须调用它已有的先验知识,构思一套计算逻辑。然后,它直接编写Python代码,显式地写出特征,将这套逻辑转化为具体的权重数字。
- 闭环迭代:Opus评估这些特征,重复利用已知的正确模块,并根据那个单一的分数反馈,不断修改代码。

平均每次跑39轮左右。
最终得到的目标网络,其权重具有明确编写代码,便于审计计算结构。论文还通过至多200词描述后重新构建模型的实验检验可解释性;这比直接断言任何人都能像读书一样理解每个模型更为有限。
它的每一个部分、每一行权重,都是AI「有意写就」。
反常识的真相
这项实验最让人拍案叫绝的,不仅是它成功让AI造出了AI,更在于它揭示了一个违背直觉的真相。
在传统的AI语境里,我们笃信「大力出奇迹」。千亿参数只是起步,万亿参数才是未来。
大家都以为,神经网络越大越能干。
但在这些指定算法任务上,论文展示了更紧凑的网络也能实现高准确率,不能由此推翻参数规模对所有AI任务的作用。
在13类算法实验中,只有Opus 5.5的26次运行在隐藏集上全部满分,Sonnet 5.5与Haiku 5.5均为25/26次满分。对Opus而言,其候选模型在各自隐藏测试集上均拿到了100%的准确率。
但当我们对比Anthropic家族不同级别的模型时,神奇的现象出现了:比较达到可见集100%准确率的最小候选网络时,更强的代理通常找到了更小的模型。这里比较的是候选网络的参数量,而非执行编程的Claude自身规模。
- 相对基础的Haiku 5.5在算法任务中选出的、达到可见集100%准确率的最小候选网络,其参数量中位数为100,000个。
- 中等Sonnet 5.5选出的同口径最小候选网络参数量中位数为41,600个。
- 本实验采用的Claude Opus 5.5,其达到可见集100%准确率的最小候选网络参数量中位数为166个!

「166个参数」确实很小,但它是这一组特定算法实验的中位数,不是所有目标网络恰好都有166个参数,更不是Claude Opus自身只有166个参数。不能直接拿它与通用大模型的完整规模作同口径比较。
为什么会有这么离谱的差距?
日志记录了Opus的「心路历程」:Opus的策略是,先想办法写对,再一轮一轮地往小里删。
论文显示,算法任务运行往往先得到较准确的网络,再压缩规模;按平均轨迹,早期的网络约有3400个参数。
这些运行平均在前十分之一的迭代中达到99%的可见集准确率,之后继续精简,将约3400个参数压缩到约200个。这里的平均轨迹,与前述达到可见集100%的最小网络参数量中位数166,属于不同统计口径。

如果用“大笔记本”和“小纸条”作比喻,它反映的是这些候选网络的规模差异,不是对代理理解或记忆机制的直接测量。
Haiku选出的同口径最小网络参数量中位数为10万,看起来像一本更大的“笔记本”;但单凭这个数字,不能断定它不懂原理、只在死记硬背。
Opus选出的同口径最小网络参数量中位数为166,像一张更紧凑的“小纸条”,说明它在这组实验中更擅长压缩;这不等于证明它彻底看透了所有算法的本质。
这个结果说明,在有明确计算规则的特定任务中,代理能把已有算法转成紧凑网络;它不能证明所有复杂问题都不需要大规模参数。

从数学题到人类大脑,让科学免于「被糊弄」
你可能会问:费这么大劲,让AI手搓几个做数学题的极小模型,到底有什么用?
答案是:为了真正的科学发现。
科学界目前正面临一个尴尬的困境。拿神经科学来说,科学家为了搞懂人类大脑,会使用现成的深度学习黑盒模型来预测大脑的反应。
确实,模型预测得很准,但科学家傻眼了:我用一个搞不懂的黑盒,去预测另一个搞不懂的黑盒(大脑)。预测对了有什么用?我还是不知道大脑到底是怎么工作的!
我们需要的是「解释」,而不仅仅是「预测」。
微软团队这套iWSP方法的价值,在这里大发神威。
这些目标模型具有可检查的编写代码。研究团队还把方法用于预测大脑响应的脑编码实验:代理编写固定特征网络,再由评估器拟合岭回归读出,将特征映射到记录的脑响应。这里的“不用反向传播”不等于整个脑编码流程没有参数拟合。在语言fMRI(功能性磁共振成像)的实验里,iWSP立下了大功。
面对复杂的大脑数据集,若只看预测分数,模型可能利用与目标机制无关的混杂信息取得更高分;这种风险并非使用反向传播的模型必然“作弊”,也并非可解释模型天然免疫。
科学家需要进一步检查特征与数据来源,才能判断评分提升是否真正反映了所研究的机制。
在语言fMRI实验中,Opus 4.7逐步编写特征。研究人员检查可解释模型时,发现一次明显的评分提升来自故事位置特征,而非词语的语义内容:这些特征暴露了与扫描起止时间相关的数据混杂,较高预测分数因此不能直接被解释为更好地捕捉了语言加工。
它直接把问题摆在了明面上。

此外,在视觉皮层任务中,iWSP的预测效果超过了所比较的可解释基线,并能区分其模型在早期视觉与高级视觉区域预测中所依赖的计算特征;这不等于直接证明真实大脑完整采用相同计算机制。

在听觉ECoG(皮层脑电图)数据上,它系统性地发现并定义了那些能够预测神经活动的「可解释声学特征」。

通过iWSP,AI真正变成了帮助科学家发现真理的显微镜。
AI自主进化的黎明时刻
读到这里,许多人可能会激动地大喊:深度学习的「炼丹时代」结束了!以后训练大模型再也不需要买几万张英伟达H100显卡了,直接让超级AI写权重就行了!
且慢。
尽管iWSP在纯算法任务和脑响应预测中非同凡响,但在自然语言处理(NLP)任务中,它却撞上了南墙。
在情感分类等NLP任务中,人类的语言特征高度模糊、非结构化,充满了幽默、反讽、多义词,根本没有绝对清晰的「数学公式」或「计算模块」可以套用。
面对这种任务,Opus 5.5显得颇为吃力。
为了达到一定的准确率,它不得不拼命增加特征,导致模型参数量被迫膨胀到了19万个左右。更残酷的是,参数涨到19万,情感分类也只到72%;四个语言任务里,复述判断那个连「全猜最常见答案」的基线都没过。
这指出了当前iWSP方法的核心局限性:它目前主要擅长「重组已知的算法和计算模块」。
复杂表征的涌现,目前依然离不开海量数据和梯度下降。
因此,绝对不能据此认定,通用大模型(AGI)已经不需要训练了。
真正底层的基座模型,依然需要算力的「暴力美学」。
尽管如此,微软的这项研究,依然是AI史上一个迷人的里程碑。
它向世界证明:在特定的场景下,神经网络可以摆脱「盲目进化」。
参考资料:
https://arxiv.org/abs/2611.18114
https://github.com/csinva/weight-space-programming-autoresearch
文章来自于"新智元",作者 "大卫"。
相关主题
读完之后
加入 AINRK 交流群
了解加入交流群的方式,与更多 AI 从业者交流。




