AI guides

NeurIPS 2025 | 英伟达发布Nemotron-Flash:以GPU延迟为核心重塑小模型架构

By 机器之心0 viewsSource: 机器之心
NeurIPS 2025 | 英伟达发布Nemotron-Flash:以GPU延迟为核心重塑小模型架构

导读 过去两年,小语言模型(SLM)在业界备受关注:参数更少、结构更轻,理应在真实部署中 “更快”。但只要真正把它们跑在 GPU 上,结论往往令人意外 —— 小模型其实没有想象中那么快。

The full text has not been translated yet. The Chinese original is shown below.

导读过去两年,小语言模型(SLM)在业界备受关注:参数更少、结构更轻,理应在真实部署中 “更快”。但只要真正把它们跑在 GPU 上,结论往往令人意外 —— 小模型其实没有想象中那么快。

参数缩小了,延迟却常常没有同步下降;结构轻量化了,吞吐却未必提升。这并非个别模型的问题,而是小模型设计长期忽略了一个根本事实:“模型更小” 并不等于 “延迟更友好”。

英伟达研究院就是从这一盲区重新出发:不是把大模型简单缩小,而是把 “真实 GPU 延迟” 作为结构设计的第一原则,全面重构小模型应该长成的样子。最终构建的 Nemotron-Flash 模型同时实现了 SOTA 准确率、低延迟、高吞吐,打败了众多业界小模型。Nemotron-Flash 已集成进 TensorRT-LLM,单 H100 GPU 吞吐可达 41K tokens/second。

NeurIPS 2025 | 英伟达发布Nemotron-Flash:以GPU延迟为核心重塑小模型架构

该论文已被 NeurIPS 2025 接收,相关海报将于 12 月 4 日在 San Diego 展示。

NeurIPS 2025 | 英伟达发布Nemotron-Flash:以GPU延迟为核心重塑小模型架构

  • 论文链接:https://arxiv.org/pdf/2511.18890
  • Hugging Face:

https://huggingface.co/nvidia/Nemotron-Flash-1B

https://huggingface.co/nvidia/Nemotron-Flash-3B

https://huggingface.co/nvidia/Nemotron-Flash-3B-Instruct

一、小模型为何不够快?

真正跑在 GPU 上之后,一切才暴露

英伟达的分析揭示:小模型之所以不快,是三个长期被忽视的因素造成的:

首先,是深宽比本身就是一个矛盾体。等参数比较时,模型越深往往越强;但在真实 GPU 上,延迟对 “层数” 极为敏感:层越多,kernel 调度越频繁,延迟就越高。结果是一个反直觉的事实:想强要变深,想快要变宽。而大多数小模型都深而窄,自然在延迟上吃亏。

其次,Attention 成本依然是实现高吞吐的最大瓶颈。然而业界对 Mamba2、DeltaNet 等高效算子的组合方式一直缺乏系统方法:哪些层该用 Attention,哪些层应该交给 Linear Attention?没有明确答案。

最后,小模型训练在后期往往会 “提前退场”。权重尺度逐渐偏移、有效梯度下降、模型停滞不前 —— 结构设计再好,容量也无法充分释放。许多小模型的最终性能其实被训练本身限制住了,而不是被参数量限制。

英伟达正是从这三点出发,重新回答了 “小模型应该长成什么样” 这一根本问题。

二、Nemotron-Flash 的核心方法

从延迟重新定义小模型结构

Nemotron-Flash 的方法论围绕三个关键突破展开,每一个都基于真实 GPU 延迟,而非理论 FLOPs。

1. 深宽比优化:深度负责能力,宽度负责速度,关键是找到黄金点

Nemotron-Flash 的大量真实设备实验揭示了小模型容易被忽略的规律:等参数下,越深越强;等延迟下,越宽越快。这两者天然冲突,意味着:深宽比不是一个随手调的超参,而是决定小模型最终能力和延迟的核心结构维度。

通过绘制 “准确率–延迟” 曲线,以及拟合准确率和模型深度 / 宽度的 scaling law,英伟达最终找到一个稳定的结论:模型必须 “足够深” 才能保住表达能力;也必须 “足够宽” 才能降低实际延迟;最优结构正是深宽交汇的黄金点。Nemotron-Flash-1B/3B 就是根据这套规律得到的结构,因此既不 “深得拖速度”,也不 “宽得能力不足”。

NeurIPS 2025 | 英伟达发布Nemotron-Flash:以GPU延迟为核心重塑小模型架构

2. 混合算子结构:真正的速度来自 “谁和谁搭配”,而不是单一的替代

Nemotron-Flash 的结构创新并不是简单 “换上新算子”,而是为不同算子明确角色分工,并系统探索它们的最佳协作方式。英伟达先研究了各类算子的准确率–延迟 trade-off,据此构建搜索空间,再使用遗传算法寻找算子在不同层之间的最优比例与位置。最终得到的架构由 Attention、Mamba2、DeltaNet 和 FFN 共同组成,各自承担不同职责:

  • Attention 负责全局依赖,但必须谨慎控制数量与位置。
  • Mamba2、DeltaNet 等 Linear Attention 负责高吞吐的局部建模,是速度的主力层。
  • FFN 提供稳定的表达容量,是所有 block 的基础骨架。

Nemotron-Flash 的结果显示,小模型的能力和速度不取决于某个 “更好的” 算子,而取决于算子之间的协作模式。这进一步证明:面对真实延迟优化时,混合架构往往比任何单一结构更具优势。

3. Weight Normalization:让小模型在训练后期不再 “掉链子”

英伟达观察到,小模型训练后期权重矩阵内部会逐渐形成 structured outliers:随着训练推进,部分行或列会系统性地放大,出现远高于整体分布的大幅值结构,成为随着优化过程累积产生的 “结构化巨权重”。问题在于:这些巨权重会拖慢乃至冻结训练后期的进展。 当某些方向的权重范数过大时,反向传播的梯度在这些方向上被不断缩放,导致 effective learning rate 急剧下降。模型看似还在更新,但实际已经 “踩不动油门”,无法继续提升。

NeurIPS 2025 | 英伟达发布Nemotron-Flash:以GPU延迟为核心重塑小模型架构

Nemotron-Flash 的解决方案非常直接有效:在训练过程中的每个 training iteration 后,对每个线性层施加显式 weight normalization,即将模型权重投影到单位范数球面上。这一归一化步骤去除了径向分量,使更新主要发生在角度方向。在相同梯度幅度下,这会带来更大的相对权重变化。

效果立竿见影:训练后期梯度不再被巨权重 “吃掉”,小模型可以持续学习,不会出现常见的 “后期停滞”。在各种模型上,最终收敛质量明显高于未使用 weight normalization 的基线模型。

NeurIPS 2025 | 英伟达发布Nemotron-Flash:以GPU延迟为核心重塑小模型架构

三、Nemotron-Flash Model Family:又快又强

Nemotron-Flash 结合了上面所有技术,提供 1B 和 3B 两种模型大小。在 H100 上的实测结果显示:

  • Nemotron-Flash-1B 相比 Qwen3-0.6B,准确率提升 5.5%,端侧推理延迟(batch size=1)快 1.9×,最大吞吐高出 45.6×;
  • Nemotron-Flash-3B 相比 Qwen2.5-3B 与 Qwen3-1.7B,准确率提升 2%~5.5%,端侧推理延迟(batch size=1)快 1.3×~1.7×,最大吞吐提升 6.4×~18.7×;Instruct 版本同样领先,准确率提升约 4.7%,吞吐最高可达 18.7×。

NeurIPS 2025 | 英伟达发布Nemotron-Flash:以GPU延迟为核心重塑小模型架构

Nemotron-Flash 的速度与稳定性让小模型真正具备 “可规模部署” 的能力,能够在关键业务场景中提供持续、可靠且低延迟的体验 —— 例如在高并发在线服务 中(如搜索助手、智能客服),更快的响应与更高吞吐意味着同样的 GPU 可以服务更多用户且体验更顺滑;在端侧与边缘设备 上(如家用机器人、可穿戴 XR),Nemotron-Flash 的宽结构与高速算子让设备在有限算力下依然能保持实时反应;而在成本敏感的企业私有化部署 场景(如金融、医疗),Nemotron-Flash 是既省成本又能落地高质量 AI 功能的理想选择。

结语

小模型的未来不是 “更小”,而是 “更快、更稳、更强”。Nemotron-Flash 提供了小模型设计的新底层逻辑:深宽比必须围绕延迟设计;算子组合必须有角色分工;训练必须保持后期稳定性。通过这套方法,小模型摆脱了 “虽然小但不快” 的悖论,真正实现了:小而强,小而快,小而可用。

作者简介

文章第一作者为 Yonggan Fu (傅泳淦),目前为英伟达研究院科学家。2025 年 5 月于 Georgia Institute of Technology 获博士学位,2019 年毕业于中国科学技术大学少年班学院,双修应用物理与计算机科学。博士期间获得 IBM PhD Fellowship 及 ML & Systems Rising Stars 2023。目前研究方向为高效大模型架构与算法。

文章来自于“机器之心”,作者 “机器之心”。

Related topics

After reading

Join the AINRK community

Read how to join the community and connect with people working in AI.

Community information (opens in a new tab)