搜索

关于“小模型”的结果

共 69 篇

小模型层数好玄学:12/32/64层效果好,16/24/48/层效果糟

小模型层数好玄学:12/32/64层效果好,16/24/48/层效果糟(在新窗口打开)

小模型身上的“秘密”这下算是被扒光了! 知名开源项目OpenEvolve作者,刚刚用一篇长文揭示了70M小模型的几个重要发现: 其一,架构的重要性远低于大家的想象。相比之下,模型“形状”(深度-宽度比)更重要。 其二,小模型层数也存在“玄学”,12/32/64层效果好,16/24/48/层效果糟,而且最佳层数为32。 当然了,作者还解密了这一“层数玄学”的背后原因——“隐藏维度”是否大于等于512。 上述结论一出,社区里迅速刮起了一股讨论之风,大家还与作者进行了各种互动: 别急,咱这就详细看看—— 发现小模型层数存在“玄学” 开始之前,简单介绍下作者Asankhaya Sharma。 他最为人

AI技术文章
0
马斯克大赞阿里 AI,9B 参数硬刚 120B,海外网友:这叫小模型?

马斯克大赞阿里 AI,9B 参数硬刚 120B,海外网友:这叫小模型?(在新窗口打开)

昨天深夜,阿里通义千问团队在 X 平台正式发布了 Qwen3.5 小模型系列,覆盖 0.8B、2B、4B 和 9B 四个参数规格。甫一发布,便在海外科技圈引发强烈反响。马斯克也在该推文下评论称:「Impressive intelligence density」(令人印象深刻的智能密度)。这股热度的背后,APPSO 也好奇,为什么这几款小模型能够激起如此大的波澜?

AI资讯
0
HuggingFace CEO力荐,Bengio团队也押注:这个1500美元训出的HRM模型,凭什么火了?

HuggingFace CEO力荐,Bengio团队也押注:这个1500美元训出的HRM模型,凭什么火了?(在新窗口打开)

好家伙,这次不是模型圈自嗨。 一个训练成本约1500美元、参数量约1B、从零开始预训练的小模型,把HRM推到了下一代推理架构讨论的中心。 HuggingFace联合创始人兼CEO Clem Delangue亲自转发推荐。 图灵奖得主Yoshua Bengio作为共同作者参与的新论文,也走向了同一条latent recursive reasoning路线。 更反常的是,它不是蒸馏,不是微调,也不是在已有大模型能力上套壳。 它就是Sapient Intelligence发布的HRM-Text。 如果只看参数量,它很容易被写成一个熟悉的故事:“小模型又赢了。” 但HRM-Text真正值得注意的地方,

AI技术文章
0