AI guides

DSpine 改进多步推测解码,8B 测试中报告最高 4.01 倍提速

By 机器之心0 viewsSource: 机器之心
DSpine 改进多步推测解码,8B 测试中报告最高 4.01 倍提速

DSpine 在草稿模型的解码过程中引入前序特征。团队在 SGLang 的 8B 测试中报告,相比逐词自回归生成最高提速 4.01 倍。

The full text has not been translated yet. The Chinese original is shown below.

在大型语言模型(LLM)的无损推理加速中,推测解码(Speculative Decoding)已成为工业界标配。以 EAGLE-3 为代表的自回归草稿模型虽然预测准,但每多猜一个 token 就要多跑一步串行前向;而受扩散语言模型启发的 DFlash 将草稿生成彻底并行化 —— 一次骨干网络前向即可同时吐出整块候选 token,大幅压缩了起草耗时。

然而,并行起草始终面临一个核心悖论:后一个位置在计算时,根本不知道前一个位置最终会选出哪个词。

这种 “盲猜” 会导致严重的多模态碰撞与后缀衰减(Suffix Decay):每个位置单独看概率都合理,拼在一起却前后矛盾。由于目标大模型按从左到右的严格前缀顺序进行验证,一旦中间某个位置衔接失败被拒,后面算好的所有草稿 token 都会全部作废。

为了补齐并行草稿的因果依赖,近期 DeepSeek 提出的 DSpark 以及 Domino、DFlash2 等工作纷纷给出了改进方案。但现有方法要么把依赖注入留到骨干网络计算完之后(如 Domino、DSpark 的轻量串行头),导致后继位置在特征形成阶段无法感知前驱倾向;要么在骨干内部直接混合相邻隐状态(如 DFlash2 的局部卷积),将上下文信息与预测信号混为一谈。

针对这一瓶颈,来自腾讯优图实验室、上海交通大学和厦门大学的研究团队提出了DSpine(Draft in Parallel, Condition Through Depth)。

文章配图

DSpine 的核心思想可以用八个字概括:同时起草,逐层接力。它不再苦等前一个位置最终选定离散 token,而是从草稿网络的第 1 层开始,就将前驱位置 “正在形成中的预测特征” 提取到统一的词元嵌入空间,逐层注入给紧邻后继;到了网络末端选词时,再通过转移缓存(Transition Cache)并行预计算相邻候选组合分数,用已确定的前驱 token 完成条件修正。

文章配图

  • 论文标题:Draft in Parallel, Condition Through Depth: Adjacent Causal Injection for Speculative Decoding
  • 论文链接:https://arxiv.org/abs/2609.36173
  • 开源代码:https://github.com/tencent/dspine
  • 模型权重:https://huggingface.co/collections/tencent/dspine
  • 项目主页:https://dspine-project.github.io

在 Qwen3-4B 和 Qwen3-8B 的接受长度评测与 SGLang 服务吞吐评测中,DSpine 在所有数据、并发场景中取得 SOTA:相比 DSpark,SGLang 服务吞吐平均提升19.0%(8B)和 20.1%(4B);相比最强基线 DFlash2,平均提升11.1%(8B);相对标准自回归解码最高实现4.01 倍加速。

更进一步,团队新训练了面向 Agent 专项优化的 Qwen3.8-27B DSpine 草稿模型:在开源 SWE-bench Pro、τ²-bench 以及真实办公场景 WorkBuddy Bench(Code / Web / Office)的评测中,且开启思考模式下,平均接受长度最高达 5.63,解码吞吐在并发 8 条件下最高达自回归的 3.84 倍。

目前,DSpine 已成功落地服务于腾讯 WorkBuddy 线上推理业务,推理代码与开源模型权重(七大基准平均接受长度高达 7.83)均已全面开放。

文章配图

图 1 DSpine:同时起草,逐层接力。图中为 DSpine 与主流投机方案对比,接受长度为 Qwen3-8B 在七个基准上的平均接受长度。

一、两个关键实验洞察:前词线索何时出现?何时注入最有效?

为什么并行草稿会 “各说各话”?举个直观的中文续写例子:给定共同上文 “门口有一……”,位置 1 候选有 “只”、“辆”,位置 2 候选有 “猫”、“车”。“一只猫” 和 “一辆车” 都是高频自然续写,但如果两个位置在一次前向里各自独立选词,就极易拼出“门口有一辆猫”的荒谬组合。

要让位置 2 知道位置 1 想选 “辆” 还是 “只”,真的一定要等 5 层骨干网络全部算完、位置 1 吐出最终 token 吗?

研究团队通过对并行草稿模型中间层进行逐层探针与干预实验,得出了两个直接驱动 DSpine 设计的实证发现:

  • 1. 靠前位置的预测信号在浅层就已浮现:在相同的浅层网络深度下,块内靠前位置的 token 预测准确率远高于靠后位置。这意味着,当后继位置的预测还在缓慢成形时,前驱位置在浅层就已经具备了可读出的预测线索,完全可以在尚未最终选定 token 前就向下游传递信息。
  • 2. 紧邻前驱不仅 “内容” 关键,而且 “注入越早” 收益越大:即便更早的历史上下文完全正确,只要紧邻前驱变成存在偏差的草稿预测,后继预测准确率就会平均暴跌31.8 个百分点—— 说明再好的全局上下文也无法替代紧邻前词的直接约束。更关键的是,注入相同的可靠前驱特征时,在浅层提前注入比延后注入准确率平均高出14.8 个百分点。

结论非常明确:相邻位置的因果依赖不应该拖到骨干网络结束才做 “事后补救”,而应该从第 1 层起就进入后继位置的表征计算。

二、DSpine 方法解析:把因果链折进网络深度

基于上述洞察,DSpine 在保持单次前向、同层全位置并行更新的前提下,通过四项核心设计将因果依赖构建在网络深度(Depth)之上。

文章配图

图 2 DSpine 整体架构:草稿网络逐层将前驱预测特征传给后继,最终选词时再使用已经确定的前驱 token;同一层内仍并行更新。图源:DSpine 论文。

1. 统一传递空间(Unified Transfer Space):只传 “选词倾向”,不传混杂隐状态

如果直接把前驱位置的 Transformer 隐状态传给后继,由于隐状态中混杂了大量上下文聚集信息,后继位置很难从中剥离出 “前驱到底想选哪个词”。而如果要在中间层直接做词表解码,十几万词表的计算开销又不可接受。

DSpine 巧妙地利用目标大模型冻结的 LM Head 输出嵌入矩阵来构造统一传递空间:对 LM Head 做归一化与 PCA 白化(去除所有 token 共享的共性分量,保留核心主方向),得到紧凑词元表。在骨干网络内部,每一层将隐状态通过轻量投影映射为预测特征;在末端选词阶段,已确定的离散前驱 token 则直接查表映射为对应的词元向量。

由于 “预测中的特征” 与 “已选定的 token” 处于同一个几何空间、拥有完全相同的代数形式,DSpine 可以用同一套注入通路无缝贯通层间特征传递与末端条件解码。

2. 逐层门控相邻注入(Adjacent Causal Injection):同层并行,跨层接力

在草稿网络的每一层 Transformer 之后,位置 t 接收紧邻前驱 t-1 的预测特征,并结合自身特征计算门控(Gate),自主决定吸收多少前驱信息并写回残差流。

为什么这不会破坏并行性?因为在每一层内部,所有位置读取的都是本层更新前的特征,全块所有位置在同一层内完全并行计算。而前驱位置在第 l 层传出的线索,会参与后继位置在第 l+1 层的计算,并进一步向后传递。如此一来,因果依赖链顺着网络深度逐层向后展开,无需增加任何串行骨干步数。

3. 逐层输出嵌入监督:为什么不能直接用全词表 CE?

为了督促浅层尽早形成清晰的预测特征,并与末端注入的真实 token 嵌入对齐,DSpine 在每一层注入后直接与真实目标 token 的紧凑嵌入计算余弦方向对齐损失(Directional Alignment Loss)。

消融实验揭示了一个非常有意思的反直觉现象:如果在中间层直接施加全词表交叉熵(Token CE)监督,接受长度不仅不升,反而在多项基准上跌破无监督的 DFlash 基线!原因在于,强行要求中间层隐状态直接做全词表分类,会挤占并干扰后续层所需的上下文表征计算;而 DSpine 仅对低维投影的方向做余弦约束,既让预测线索在浅层清晰浮现,又让完整隐状态自由服务于上下文建模。

4. 末层条件解码与转移缓存(Transition Cache):把串行选词变成并行查表

当骨干计算结束,每个位置先选出初始的 Top-K 候选集。此时从左到右正式选词:一旦前驱位置确定了具体 token,DSpine 就把最后一层注入模块的输入从预测特征替换为真实词向量,直接修正后继位置的候选得分(Last-Write Refinement)。

如果每确定一个前驱才去算一次后继得分,就会退化成串行矩阵运算。DSpine 引入了转移缓存(Transition Cache):因为末层修正只依赖紧邻前驱的候选 token,模型在选词开始前,直接一次性并行算出所有相邻位置候选组合的条件得分矩阵。随后从左到右选词时,只需在缓存表里做极速查表,彻底消除了逐位置的串行矩阵乘法开销。

三、实验结果:28 组接受长度与 40 组服务吞吐全满贯

研究团队在 Qwen3-4B 和 Qwen3-8B 上系统对比了 DFlash、Domino、DSpark、DFlash2 与 DSpine,评测横跨数学(GSM8K、MATH-500)、代码(HumanEval、MBPP、LiveCodeBench)与对话(MT-Bench、Arena-Hard)共 7 大基准。

1. 接受长度:28 组评测全部第一,采样模式下优势更猛

文章配图

文章配图

图 3 七项基准上的接受长度对比。DSpine 在两个模型、两种温度下均全面领先。图源:DSpine 论文。

在两个模型、两种温度(温度 0 贪心与温度 1 采样)及七大基准组成的 28 组测试中,DSpine 全部取得最长接受长度:

  • Qwen3-8B:温度 0 下,七基准平均接受长度从 DFlash 的 3.77、DSpark 的 4.32、DFlash2 的 4.39 显著提升至4.82(在数学推理 GSM8K 和 MATH-500 上分别达到 5.67 和 5.49);温度 1 下,平均接受长度从 DSpark 的 3.92 提升至4.42,相对提升达 12.8%。
  • Qwen3-4B:温度 0 和温度 1 下平均接受长度分别达到4.75 和 4.38,在采样模式下领先最强基线 10.1%。

2. SGLang 端到端服务吞吐:较 DSpark 平均提速约 20%,最高 4.01 倍加速

在主流推理引擎 SGLang 的高并发端到端实测中(覆盖 GSM8K、MATH-500、HumanEval、MBPP 四大任务及 2~32 五档并发度),两个模型共计 40 组服务测试里,DSpine 同样拿下了全部第一:

文章配图

图 4 不同任务与并发下的 SGLang 服务吞吐对比。图源:DSpine 论文。

  • 对比 DSpark:Qwen3-8B 平均服务吞吐提升19.0%(最高提升 22.1%),Qwen3-4B 平均提升20.1%(最高提升 22.5%)。
  • 对比 DFlash 与 DFlash2:在 Qwen3-8B 上,DSpine 平均吞吐较 DFlash 提升23.3%,较最强基线 DFlash2 提升11.1%;Qwen3-4B 较 DFlash2 平均提升6.5%。
  • 对比原生自回归(AR)解码:Qwen3-8B 实现最高4.01倍的端到端吞吐加速,Qwen3-4B 最高达3.80倍加速。

3. 延迟拆解:5 层注入仅增 0.15ms,条件选词比 DSpark 串行头快一倍以上

为什么 DSpine 增加了逐层注入和末层条件选词,却依然能大幅刷新吞吐?SGLang 单轮解码的模块级耗时拆解给出了答案:

  • 配合算子融合与 CUDA Graph,全部 5 层注入模块每轮合计仅增加 0.15 毫秒;
  • 得益于转移缓存(Transition Cache)的并行预计算,DSpine 末层条件解码的耗时不到 DSpark 和 Domino 后置串行头的一半;
  • 最终,DSpine 单轮总耗时(7.14 ms)与 DFlash2(7.19 ms)基本持平,但由于每轮能连续通过更多 token,DSpine 每生成一个有效 token 的平均解码耗时比 DFlash2 降低了 10.9%。

四、面向 Agent 专项进化:Qwen3.8-27B 实测全面提升

当大模型从单轮对话走向长程 Agent,深度思考、代码编写与多轮工具调用的更大负担给推理加速提出了更高的需求。为此,团队在 Qwen3.8-27B 上训练了专为 Agent 场景优化的 DSpine 草稿权重,与官方开源 DFlash2 权重正面对比。评测覆盖开源 SWE-bench Pro、τ²-bench 及真实办公场景 WorkBuddy Bench(Code / Web / Office),各含 low / xhigh 两档思考强度。

文章配图

图5 Qwen3.8-27B 在五大 Agent 基准、两档思考强度下的平均接受长度对比。

文章配图

图6 Qwen3.8-27B 端到端吞吐(tokens/s)及加速比。

DSpine 平均接受长度提升至 5.13,WorkBuddy Office(low)最高达 5.63;解码吞吐较开源 DFlash2 平均最高提升21.2%,相对原生自回归最高实现 3.84 倍加速。其中真实办公六组平均接受长度提升 26.1%。

此外,团队同步开源了面向生产环境的 Qwen3-8B 和 Qwen3.8-27B 的草稿权重,推理实现已封装为轻量插件无缝接入 SGLang。目前,DSpine 已正式落地服务于腾讯 WorkBuddy 线上推理业务,开发者只需几行命令即可挂载 DSpine 插件,在自己的 Agent 与通用业务负载下直接体验加速效果。

文章来自于"机器之心",作者 "机器之心"。

Related topics

After reading

Join the AINRK community

Read how to join the community and connect with people working in AI.

Community information (opens in a new tab)