
小模型层数好玄学:12/32/64层效果好,16/24/48/层效果糟 (opens in a new tab)
小模型身上的“秘密”这下算是被扒光了! 知名开源项目OpenEvolve作者,刚刚用一篇长文揭示了70M小模型的几个重要发现: 其一,架构的重要性远低于大家的想象。相比之下,模型“形状”(深度-宽度比)更重要。 其二,小模型层数也存在“玄学”,12/32/64层效果好,16/24/48/层效果糟,而且最佳层数为32。 当然了,作者还解密了这一“层数玄学”的背后原因——“隐藏维度”是否大于等于512。 上述结论一出,社区里迅速刮起了一股讨论之风,大家还与作者进行了各种互动: 别急,咱这就详细看看—— 发现小模型层数存在“玄学” 开始之前,简单介绍下作者Asankhaya Sharma。 他最为人








