Search

Results for “Ping”

Total 14 articles

Meta超级智能实验室又发论文,模型混一混,性能直接SOTA

Meta超级智能实验室又发论文,模型混一混,性能直接SOTA (opens in a new tab)

模型也要学会取长补短。 大语言模型(LLM)在众多领域展现出卓越的能力,但它们的训练依然高度依赖算力和时间,需要庞大的计算资源以及精细的训练流程设计。 模型 Souping(Model Souping) ,即对同一架构的多个模型进行权重平均,形成一个新的、更强的模型。相比训练一个庞大的统一模型,souping 更轻量、成本更低,同时能够融合模型的互补能力。 然而,传统的模型 souping 方式通常采用简单的均匀平均,即把所有候选模型的参数直接做等权融合。 本文中,来自 Meta、伦敦大学学院机构的研究者提出类专家 Soup(Soup Of Category Experts, SoCE),这是

AI guides
0
Karpathy盛赞,啥都没有的创业公司刚融了1.8亿美元,Flapping Airplanes要用小数据造强智能

Karpathy盛赞,啥都没有的创业公司刚融了1.8亿美元,Flapping Airplanes要用小数据造强智能 (opens in a new tab)

AI 需要整个互联网来学习,而人类只需要一个童年。人类在成年之前,所接触的语言、文本与符号,顶多只有几十亿 token,相差几个数量级。正是从这个问题出发,一家几乎没有产品、没有盈利、也不急于商业化的 AI 创业公司,从 GV、Sequoia 和 Index 拿到了 1.8 亿美元融资,并获得了 Andrej Karpathy 的公开力挺。

AI news
0