AI guides

7B扩散语言模型单样例1000+ tokens/s!上交大联合华为推出LoPA

By 机器之心0 viewsSource: 机器之心
7B扩散语言模型单样例1000+ tokens/s!上交大联合华为推出LoPA

,时长 00:20 视频 1:单样例推理速度对比:SGLang 部署的 Qwen3-8B (NVIDIA) vs. LoPA-Dist 部署 (NVIDIA & Ascend)(注:NVIDIA 平台

The full text has not been translated yet. The Chinese original is shown below.

7B扩散语言模型单样例1000+ tokens/s!上交大联合华为推出LoPA

视频 1:单样例推理速度对比:SGLang 部署的 Qwen3-8B (NVIDIA) vs. LoPA-Dist 部署 (NVIDIA & Ascend)(注:NVIDIA 平台相同,配置对齐)

在大语言模型(LLMs)领域,扩散大语言模型(dLLMs)因其并行预测特性,理论上具备超越传统自回归(AR)模型的推理速度潜力。然而在实践中,受限于现有的解码策略,dLLMs 的单步生成往往局限于 1-3 个 Token,难以真正释放其并行潜力。

近期,上海交通大学 DENG Lab 联合华为的一项新研究打破了这一瓶颈。该工作提出了一种名为LoPA (Lookahead Parallel Decoding) 的无需训练的解码算法,通过主动探索最优填词顺序,显著提升了 dLLMs 的推理并行度和吞吐量。

本文作者团队来自上海交通大学 DENG Lab 与华为。该研究由徐晨开、金义杰同学等人共同完成,指导教师为邓志杰老师。DENG Lab 隶属上海交通大学,致力于高效、跨模态生成模型的研究。

7B扩散语言模型单样例1000+ tokens/s!上交大联合华为推出LoPA

  • 论文地址:https://arxiv.org/abs/2512.16229
  • 代码地址:https://github.com/zhijie-group/LoPA
  • 博客地址:https://zhijie-group.github.io/blogs/lopa

实验显示,LoPA 将 D2F-Dream 在 GSM8K 基准上的单步生成 Token 数(TPF)从 3.1 提升至 10.1,并行度提升超 3 倍。配合团队自研的 LoPA-Dist 分布式推理系统,在华为 Ascend 910C 平台上实现了 1073.9 tokens/s 的单样本吞吐量,不仅大幅超越基线模型,更将 dLLMs 的推理效率推向了新高度。

7B扩散语言模型单样例1000+ tokens/s!上交大联合华为推出LoPA

图 1:LoPA 的吞吐量结果展示。LoPA 将 D2F-Dream 的单样本吞吐量在 MBPP 和 GSM8K 上分别提升至高达 1073.9 和 856.5 个 token/s,显著优于基线方法。

简单来说,LoPA 为 dLLMs 赋予了以下核心特性:

1.极高的并行度:首次将 dLLMs 的每步生成数量(TPF)提升至 10 Token 量级,突破了传统方法的效率瓶颈。

2.无需训练:作为一种即插即用的解码算法,无需对模型进行重训或微调。

3.前瞻并行解码:通过引入分支并行机制,主动探索不同的填词顺序(TFO),避免模型陷入低置信度的局部最优。

4.系统级加速:配套设计的 LoPA-Dist 系统,支持 CUDA 和 Ascend 双平台,通过分支并行最大化硬件利用率。

7B扩散语言模型单样例1000+ tokens/s!上交大联合华为推出LoPA

图 2:对不同分支数的 D2F-Dream 进行 LoPA 扩展性分析。结果表明,LoPA 能有效扩展 D2F 的 TPF,使其峰值超过 10,从而显著减少解码总步骤数。

问题的根源:填词顺序限制并行潜力

dLLMs 理论上支持全序列并行生成,但在实际应用中,现有的主流模型(如 Fast-dLLM, D2F, SDAR)普遍采用置信度驱动采样(Confidence-Driven Sampling)。这种策略倾向于贪婪地优先填充当前置信度最高的位置。

研究团队发现,并行度的高低与填词顺序(Token Filling Order, TFO)高度相关。贪婪策略虽然在当前步骤保证了准确性,但并不考虑后续步骤的预测置信度,导致模型在后续迭代中并没有充分释放并行度。

7B扩散语言模型单样例1000+ tokens/s!上交大联合华为推出LoPA

图 3:LoPA 算法流程概览。在每次迭代中,LoPA 通过独立采样高置信度位置,生成一个锚定分支以及多个前瞻分支。然后,分支置信度验证机制并行评估所有分支,以选择最优路径。

LoPA 的核心设计:前瞻并行与分支验证

为了解决上述问题,LoPA 引入了前瞻并行解码机制。其核心思想是:利用少量的额外计算开销,同时探索多种填词顺序,从而找到一条能让未来预测 “更自信” 的路径。

LoPA 的工作流程包含三个关键阶段:

1. 多分支并行探索

LoPA 在保留标准锚点分支(Anchor Branch,即常规贪婪策略)的同时,额外对当前的最高置信度的 k 个位置分别采样得到 k 个前瞻分支(Lookahead Branches)。每个分支代表一种不同的填词顺序尝试。

2. 分支置信度验证

团队设计了分支置信度(Branch Confidence)指标,用于量化分支中剩余未填位置的平均预测置信度。较高的分支置信度意味着该路径在下一轮迭代中能填充更多的 Token,具备更高的并行潜力。

3. 并行验证与复用

通过隔离不同分支的注意力设计,所有候选分支(锚点 + 前瞻)可以在一次前向传递中并行完成验证。系统最终选择未来潜力最大的分支作为本次迭代结果。验证过程中计算的 Logits 被直接复用于下一步生成,无需额外前向传播。

7B扩散语言模型单样例1000+ tokens/s!上交大联合华为推出LoPA

图 4:LoPA 分支并行分布式推理系统设计展示。关键区别在于针对不同后端定制的键值缓存管理协议:LoPA-Dist-NV 采用稳健的两阶段更新机制以确保一致性,而 LoPA-Dist-Ascend 则采用精简的单阶段更新策略以优化服务效率。

系统级创新:LoPA-Dist 分布式推理

为了承载 LoPA 的多分支计算,团队设计了 LoPA-Dist 分布式推理系统,引入了全新的分支并行(Branch Parallelism, BP)策略,可与张量并行(Tensor Parallelism,TP)等现有并行机制混合使用。

该系统针对不同硬件平台进行了定制优化:

1.LoPA-Dist-NV(CUDA):面向低延迟场景。采用静态 KV Cache 和独创两阶段更新协议(Pre-Write & Commit-Winner-Cache),确保分支切换时的缓存一致性。

2.LoPA-Dist-Ascend(Ascend 910C):面向高吞吐服务场景。采用混合并行策略(TP+BP),结合图编译技术融合算子,异步调度,以及量化机制,大幅降低 Kernel 启动开销。

7B扩散语言模型单样例1000+ tokens/s!上交大联合华为推出LoPA

图 5:LoPA 的并行度扩展曲线。在 GSM8K 和 HumanEval+ 上,LoPA 分别将 D2F-Dream 和 D2F-DiffuCoder 的 TPF 分别扩展至高达 10.1 和 8.3,并保持和基线相当的性能。

实验结果:速度与质量的双重提升

并行度:单步突破 10 Token

LoPA 在 SOTA 扩散语言模型 D2F 上进行了实验。实验结果表明,随着前瞻分支数量的增加,模型的 TPF 呈现显著上升趋势。在 GSM8K 任务上,LoPA 将 D2F-Dream 的 TPF 推高至 10.1,大幅缩短了总推理步数。

7B扩散语言模型单样例1000+ tokens/s!上交大联合华为推出LoPA

表 1:LoPA 集成 D2F-Dream 的性能。LoPA 集成的 D2F-Dream 在多个基准测试中实现了保持精度的 TPF 提升。

7B扩散语言模型单样例1000+ tokens/s!上交大联合华为推出LoPA

表 2:LoPA 集成 D2F-Diffucoder 的性能。LoPA 集成的 D2F-DiffuCoder 在代码任务中实现了保持精度的 TPF 提升。

系统吞吐量

在系统层面,LoPA-Dist 展现了优异的扩展能力。在华为 Ascend 910C 平台上,系统实现了 1073.86 tokens/s 的峰值吞吐量。

7B扩散语言模型单样例1000+ tokens/s!上交大联合华为推出LoPA

表 3:LoPA 系统性能。结果表明,我们的系统能够有效地将算法并行性(高 TPF)转化为显著的实际运行时间加速,在专用的 LoPA-Dist-Ascend 引擎上实现了超过 1000 token/s 的平均吞吐量。

总结与展望

LoPA 通过算法与系统的协同设计,成功突破了 dLLM 推理的并行度瓶颈,证明了非自回归模型在保持高性能的同时,能够实现远超传统模型的推理速度。团队表示,未来将进一步探索 LoPA 在 SDAR 等更多 dLLM 架构上的应用,推动高效生成模型的落地。

文章来自于微信公众号 “机器之心”,作者 “机器之心”

Related topics

After reading

Join the AINRK community

Read how to join the community and connect with people working in AI.

Community information (opens in a new tab)