搜索

关于“MoE”的结果

共 82 篇

小红书悄悄开源发布了自己的大模型,内容平台也要造底座

小红书悄悄开源发布了自己的大模型,内容平台也要造底座(在新窗口打开)

长期依赖外部模型,不是最好的选择。 前几天,我们注意小红书在海外发布了一款大模型 dots3-note preview。 这款模型采用 MoE 架构,总参数 280B、激活参数 16B,支持 512K 上下文,并具备文本、视觉、语音的多模态理解能力。它属于 dots3 系列,后续还将有 jazz、aria 等不同定位的版本。作为先行发布的 note 版本,它更像是小红书将模型能力推向实际业务和开发者生态的第一步。 模型上线后,海外开发者社区很快开始讨论,Hugging Face 下载量破百,华为昇腾也在当天宣布完成适配;但在国内,这次发布暂时还没有掀起太大水花。 在这件事上,值得注意的并不只是

AI资讯
0
5050亿参数!余承东开源盘古新模型openPangu-2.0-Pro,距离“世界第一”还有差距

5050亿参数!余承东开源盘古新模型openPangu-2.0-Pro,距离“世界第一”还有差距(在新窗口打开)

今日,华为开源基于昇腾NPU训练的盘古MoE模型openPangu-2.0-Pro。该模型是openPangu-2.0系列的最新开源模型,总参数规模5050亿,激活参数规模180亿,支持512K上下文长度,训练数据总量约34T tokens。另一轻量化模型openPangu-2.0-Flash已于6月12日开源,参数92亿,其中6亿为激活参数。

AI资讯
0