搜索

关于“Meta”的结果

共 318 篇

Meta超级智能实验室又发论文,模型混一混,性能直接SOTA

Meta超级智能实验室又发论文,模型混一混,性能直接SOTA(在新窗口打开)

模型也要学会取长补短。 大语言模型(LLM)在众多领域展现出卓越的能力,但它们的训练依然高度依赖算力和时间,需要庞大的计算资源以及精细的训练流程设计。 模型 Souping(Model Souping) ,即对同一架构的多个模型进行权重平均,形成一个新的、更强的模型。相比训练一个庞大的统一模型,souping 更轻量、成本更低,同时能够融合模型的互补能力。 然而,传统的模型 souping 方式通常采用简单的均匀平均,即把所有候选模型的参数直接做等权融合。 本文中,来自 Meta、伦敦大学学院机构的研究者提出类专家 Soup(Soup Of Category Experts, SoCE),这是

AI技术文章
0
刚刚,PyTorch之父光速入职TML!离职Meta刚过一天,投身500亿估值独角兽

刚刚,PyTorch之父光速入职TML!离职Meta刚过一天,投身500亿估值独角兽(在新窗口打开)

刚刚,才离开 Meta 不久的 Soumith Chintala 发布了一条推文,盛赞 Thinking Machines Lab(以下简称 TML)的人很了不起(incredible)。与此同时,这位 PyTorch 之父也更新了自己的个人介绍,正式官宣加入 TML,并表示正在这家估值已达 500 亿美元的创业公司「创造新东西(Building new things)」 。

AI资讯
0