Categories

AI guides

Practical guides to AI tools, models and related technologies.

AI教科书全错!底层公式惊天Bug曝光,Gemini率先自我修复

AI教科书全错!底层公式惊天Bug曝光,Gemini率先自我修复 (opens in a new tab)

各大AI框架都错了! PyTorch错了,JAX错了。连教科书里的标准公式,也错了。 谷歌DeepMind的主任研究科学家 Jon Barron披露了这一重磅炸弹! 本周,Google DeepMind 展示了一个问题:在 PyTorch、JAX 以及各类教科书中,该算法的每一个标准版本都一直在悄悄把某个数字舍入为零。 模型越自信,正确的训练信号反而越容易凭空消失。优化器因此失控,训练曲线剧烈震荡。 但最让人毛骨悚然,也最让人兴奋的是:这个隐藏在全人类眼皮底下的底层逻辑漏洞,是AI(Gemini)自己抓出来的。 这次,人类只负责了事后的复核与排版。 消失的数字,崩塌的模型标 这个Bug藏在AI

AI guides
2
不用反向传播,也能预训练Transformer,Jeff Dean投的这家公司出成果了

不用反向传播,也能预训练Transformer,Jeff Dean投的这家公司出成果了 (opens in a new tab)

训练大模型,能不能不用反向传播? 这事一直有人琢磨。只是反向传播太成功了:过去这些年,反向传播一直是训练神经网络的唯一主流算法。我们今天所有的架构、优化器、甚至 GPU 硬件,某种意义上都是围着它长出来的。 但一直有人不信这个邪:反向传播要求整个网络处处可微,这其实是个很强的限制,不可微的模块、离散的计算、外部程序,统统进不了训练回路。 那么,如果算力足够便宜,能不能干脆不「算」梯度了,改用一种最原始的思路 —— 随机把网络改一改,看它变好还是变坏,变好的方向就保留,变坏的就扔掉。这种办法笨是笨,但胜在什么都不挑:不管网络内部长什么样、可不可微,它都能用。 一家叫 Q Labs 的小型研究实验

AI guides
4
用AI做3D交互教学,沉浸式学习有了新的打开方式

用AI做3D交互教学,沉浸式学习有了新的打开方式 (opens in a new tab)

从课堂演示到科普创作。 想象一下,一本摊开的物理课本里,竟然出现了一座小小的3D实验室。 原本写在纸张里的能量知识,被做成了能够观察和操作的立体模型。 最近,一位海外创作者就用AI制作了这样一本3D互动教材,把能量相关的知识设计成了十节可以动手探索的课程。 类似的玩法已经开始出现在国内。 腾讯正在内测一款名叫懂了鸭的AI互动学习产品,其中就有不少可以动手操作的实验模型。借助AI,制作这样的互动作品也变得方便了许多。 邀请码:TLC79B 比如正在给孩子解释杠杆原理,直接打开这样的页面,可能比对着课本画几遍示意图更容易引起兴趣。 它选的知识点并不神秘,日常生活里随时都能碰到。 精彩之处在于作者愿

AI guides
2

Join the conversation

AINRK community information

Read how to join the community. No sign-in is required to read articles.

Community information (opens in a new tab)