Search

Results for “MoE”

Total 82 articles

谷歌开源26B文本扩散MoE,劈柴:生成速度像赛马一样快

谷歌开源26B文本扩散MoE,劈柴:生成速度像赛马一样快 (opens in a new tab)

今天一早,谷歌又发新模型了! Gemmna 家族有了新成员 ——DiffusionGemma,一个探索文本扩散的实验性开源模型,在文本生成任务上速度极快。 根据官方介绍,DiffusionGemma 采用了 Apache 2.0 许可证发布,是一个 26B 规模的混合专家模型(MoE)。 该模型没有沿用典型自回归大语言模型(LLM)那种按顺序、逐 token 生成的方式,而是可以同时生成整块文本,在 GPU 上,文本生成速度最高可提升至 4 倍。 DiffusionGemma 建立在 Gemma 4 家族业界领先的「每参数智能水平」之上,同时吸收了 Gemini Diffusion 的前沿研究

AI news
0
Dense、MoE之外第三条Scaling路径:交大提出JTok模块,省1/3算力

Dense、MoE之外第三条Scaling路径:交大提出JTok模块,省1/3算力 (opens in a new tab)

为了松绑参数与计算量,MoE 曾被寄予厚望 。它靠着稀疏激活的专家子网络,在一定程度上实现了模型容量与计算量的解耦 。然而,近期的研究表明,这并非没有代价的免费午餐 :稀疏模型通常具有更低的样本效率 ;随着稀疏度增大,路由负载均衡变得更加困难 ,且巨大的显存开销和通信压力导致其推理吞吐量往往远低于同等激活参数量的 dense 模型 。

AI guides
0
为MoE解绑:全新「专家即服务」推理架构发布,超细粒度扩展锐减37.5%成本

为MoE解绑:全新「专家即服务」推理架构发布,超细粒度扩展锐减37.5%成本 (opens in a new tab)

近年来,大型语言模型的参数规模屡创新高,随之而来的推理开销也呈指数级增长。如何降低超大模型的推理成本,成为业界关注的焦点之一。Mixture-of-Experts (MoE,混合专家) 架构通过引入大量 “专家” 子模型,让每个输入仅激活少数专家,从而在参数规模激增的同时避免推理计算量同比增长。

AI guides
0