Search

Results for “大模型”

Total 1519 articles

同等预算下,Looped Transformer更强吗?清华、字节Seed给出答案

同等预算下,Looped Transformer更强吗?清华、字节Seed给出答案 (opens in a new tab)

在大模型的发展中,提升能力的主要手段一直是 "做大"—— 更多参数、更多数据、更多算力。如今,另一条思路开始受到关注:与其不断堆叠新的层,不如让已有的层再跑一遍。这就是 Looped Transformer。普通 Transformer 的每一层只执行一次,而 Looped Transformer 会把其中一部分层重复执行,让模型在不增加参数的情况下获得更深的计算。

AI guides
0