搜索

关于“GPU”的结果

共 229 篇

不用反向传播,也能预训练Transformer,Jeff Dean投的这家公司出成果了

不用反向传播,也能预训练Transformer,Jeff Dean投的这家公司出成果了(在新窗口打开)

训练大模型,能不能不用反向传播? 这事一直有人琢磨。只是反向传播太成功了:过去这些年,反向传播一直是训练神经网络的唯一主流算法。我们今天所有的架构、优化器、甚至 GPU 硬件,某种意义上都是围着它长出来的。 但一直有人不信这个邪:反向传播要求整个网络处处可微,这其实是个很强的限制,不可微的模块、离散的计算、外部程序,统统进不了训练回路。 那么,如果算力足够便宜,能不能干脆不「算」梯度了,改用一种最原始的思路 —— 随机把网络改一改,看它变好还是变坏,变好的方向就保留,变坏的就扔掉。这种办法笨是笨,但胜在什么都不挑:不管网络内部长什么样、可不可微,它都能用。 一家叫 Q Labs 的小型研究实验

AI技术文章
0