搜索

比全球最强推理引擎还快2倍，斯坦福、普林斯顿破解大模型「串行魔咒」（在新窗口打开）

在大语言模型推理领域，虽然「推测解码」（Speculative Decoding，SD）已成为加速生成的标准配置，但它依然存在一个致命弱点： drafting（草拟）和 verification（验证）之间必须串行进行。