搜索

关于“Fusion”的结果

共 57 篇

推理效率狂飙60倍:DiDi-Instruct让扩散大模型16步超越千步GPT

推理效率狂飙60倍:DiDi-Instruct让扩散大模型16步超越千步GPT(在新窗口打开)

近日,来自普渡大学、德克萨斯大学、新加坡国立大学、摩根士丹利机器学习研究、小红书 hi-lab 的研究者联合提出了一种对离散扩散大语言模型的后训练方法 —— Discrete Diffusion Divergence Instruct (DiDi-Instruct)。经过 DiDi-Instruct 后训练的扩散大语言模型可以以 60 倍的加速超越传统的 GPT 模型和扩散大语言模型。

AI技术文章
0
从掩码生成到「再掩码」训练:RemeDi让扩散语言模型学会自我纠正与反思

从掩码生成到「再掩码」训练:RemeDi让扩散语言模型学会自我纠正与反思(在新窗口打开)

近期,扩散语言模型备受瞩目,提供了一种不同于自回归模型的文本生成解决方案。为使模型能够在生成过程中持续修正与优化中间结果,西湖大学 MAPLE 实验室齐国君教授团队成功训练了具有「再掩码」能力的扩散语言模型(Remasking-enabled Diffusion Language Model, RemeDi 9B)。

AI技术文章
0