Search

Results for “神经网络”

Total 30 articles

神经网络可解释性被AI解决了?90%神经元只有一个功能

神经网络可解释性被AI解决了?90%神经元只有一个功能 (opens in a new tab)

这是 AI 领域最重要的成果之一。 本周五,OpenAI 可解释团队创建人 Nick Cammarata 的一篇超长文章震动了 AI 圈。他说利用现代智能体工具,万亿参数的大模型也是几乎可读的,我们对于神经网络「黑箱」的看法被证明是误解,预期的障碍大多不存在,可解释性将被解决,而且可能很快就会实现。 这可能是可解释性的「苦涩教训」:简单的事情,在荒谬的规模下,就能奏效。 我们能训练出强大的 AI,却未必知道它为什么这样回答。如果让 AI 帮忙研究神经网络的「脑回路」,能否打开这个黑箱?答案似乎是肯定的。 Nick 的文章虽然极长(阅读需要 65 分钟),但是已经有一些研究者对此进行了解读。简单

AI news
0
不用反向传播,也能预训练Transformer,Jeff Dean投的这家公司出成果了

不用反向传播,也能预训练Transformer,Jeff Dean投的这家公司出成果了 (opens in a new tab)

训练大模型,能不能不用反向传播? 这事一直有人琢磨。只是反向传播太成功了:过去这些年,反向传播一直是训练神经网络的唯一主流算法。我们今天所有的架构、优化器、甚至 GPU 硬件,某种意义上都是围着它长出来的。 但一直有人不信这个邪:反向传播要求整个网络处处可微,这其实是个很强的限制,不可微的模块、离散的计算、外部程序,统统进不了训练回路。 那么,如果算力足够便宜,能不能干脆不「算」梯度了,改用一种最原始的思路 —— 随机把网络改一改,看它变好还是变坏,变好的方向就保留,变坏的就扔掉。这种办法笨是笨,但胜在什么都不挑:不管网络内部长什么样、可不可微,它都能用。 一家叫 Q Labs 的小型研究实验

AI guides
0
《Anthropic 炒作大辞典》

《Anthropic 炒作大辞典》 (opens in a new tab)

如果你身边声称将为人类未来负责的人,这样和你聊天,你感受如何: “在应对 ASL-3 级别的灾难性风险时,我们通过机制可解释性的神经解剖,在神经网络的暗物质中,发现了潜伏特工(Sleeper Agen

AI news
0
一文速通「机器人3D场景表示」发展史

一文速通「机器人3D场景表示」发展史 (opens in a new tab)

上海交通大学、波恩大学等院校的研究团队全面总结了当前机器人技术中常用的场景表示方法。这些方法包括传统的点云、体素栅格、符号距离函数以及场景图等传统几何表示方式,同时也涵盖了最新的神经网络表示技术,如神经辐射场、3D 高斯散布模型以及新兴的 3D 基础模型。

AI guides
0