AI guides

从分钟级等待到20倍超速:LightX2V重写AI视频生成速度上限

By 机器之心1 viewsSource: 机器之心
从分钟级等待到20倍超速:LightX2V重写AI视频生成速度上限

今年以来,开源项目LightX2V 及其 4 步视频生成蒸馏模型在 ComfyUI 社区迅速走红,单月下载量超过 170 万次。越来越多创作者用它在消费级显卡上完成高质量视频生成,把“等几分钟出一段视频”变成“边看边出片”。

The full text has not been translated yet. The Chinese original is shown below.

今年以来,开源项目LightX2V 及其 4 步视频生成蒸馏模型在 ComfyUI 社区迅速走红,单月下载量超过 170 万次。越来越多创作者用它在消费级显卡上完成高质量视频生成,把“等几分钟出一段视频”变成“边看边出片”。

LightX2V 背后并不是单一模型的优化,而是一整套面向低成本、强实时视频生成的推理技术栈:从步数蒸馏与轻量VAE,到低比特算子、稀疏算子、多卡并行与分级Offloading,目标只有一个——在主流硬件上,把视频生成推到 1:1 实时。

从分钟级等待到20倍超速:LightX2V重写AI视频生成速度上限

  • GitHub:https://github.com/ModelTC/LightX2V
  • Hugging Face:https://huggingface.co/lightx2v
  • 项目主页:https://light-ai.top

1:1 实时,远超现有框架

从分钟级等待到20倍超速:LightX2V重写AI视频生成速度上限

在很多视频生成框架中,生成 5–10 秒视频依然需要几分钟时间。LightX2V 在相同分辨率和硬件条件下,通过极少步数的推理和系统级优化,将生成时间压缩到与视频时长接近的水平 (如上图端到端耗时所示),实现接近 1:1 的实时体验。

在同类开源方案中,LightX2V 相比 SGLang Diffusion, FastVideo 等优秀的开源框架在延迟和吞吐上都具有明显优势 (如下图单步耗时对比所示),尤其是在 8GB–24GB 消费级显卡区间,更容易跑满硬件能力。

从分钟级等待到20倍超速:LightX2V重写AI视频生成速度上限

从分钟级等待到20倍超速:LightX2V重写AI视频生成速度上限

双核心算法:Phased DMD 步数蒸馏 + LightVAE

LightX2V 的速度并不是简单 “少采样几步” 得到的,而是通过两项关键算法协同设计:

Phased DMD 步数蒸馏

LightX2V 自研的 Phased DMD 步数蒸馏,把原本 40–50 步的视频扩散过程压缩到 4 步,同时保持时间一致性和运动细节。基于这一技术产出的少步模型(如 Wan2.1 / Qwen-Image 等)已经在 Hugging Face 趋势榜中长期靠前,累积下载量达到百万级。

LightVAE 轻量级 VAE

针对视频生成场景对吞吐和分辨率的双重需求,LightX2V 设计了极致轻量的 LightVAE。与常规 VAE 相比,在保持高清画质和时间一致性的前提下,有效降低了编解码开销,为 4 步推理释放出更多预算。

这两部分相当于在 “算法上先把路打通”,再让后续工程优化尽可能榨干硬件性能。

全栈性能工程:从 8GB 显存到多卡强实时

在算法压缩完成后,LightX2V 通过一套全栈推理框架,把 “能跑” 变成 “跑得快、跑得省”:

  • 显存门槛:通过步数蒸馏、低比特量化和分级 Offloading,将完整视频生成工作流的显存需求压到 8GB 以下,入门级消费卡即可运行。
  • 吞吐与延迟:综合使用低比特算子、稀疏注意力与特征缓存,在常见 5 秒视频场景下达到接近 1:1 的实时生成速度。

关键技术模块包括:

  • 低比特算子(MXFP8 / MXFP6 / NVFP4):在不明显损伤画质的前提下压缩计算与带宽,释放硬件算力。
  • 稀疏注意力算子:利用视频时空特征的稀疏性,减少冗余计算,提升大分辨率下的吞吐。
  • 特征缓存:对中间特征进行缓存与复用,降低重复计算,进一步缩短延迟。
  • 三层延迟隐藏 Offloading:通过精细化的显存–内存调度,在 8GB 显存上完成 28B 级别 MoE 模型推理,兼顾成本与能力。
  • FP8 通信多卡并行:结合 FP8 通信和流水线 / 序列并行,在多卡环境下进一步提升吞吐,面向 5090 等消费级新卡实现更高帧率的强实时目标。

这些技术叠加,使 LightX2V 不仅在单机单卡上易于部署,也可以顺畅扩展到多卡集群。

模型与硬件生态:从 Wan 到国产芯片

为了方便创作者直接受益于上述优化,LightX2V 面向主流模型和硬件做了系统支持:

  • 模型生态:当前已支持 Wan2.1 / Wan2.2、CogVideo1.5、HunyuanVideo1.5 等主流视频生成模型,以及 Matrix Game、MagicDrive 等世界模型,并在这些模型上提供 4 步或少步数配置与加速方案。
  • 应用生态:LightX2V 深度集成 ComfyUI,LightVAE 等核心组件已进入社区主干工作流,用户可以在熟悉的图形界面中直接调用加速推理。
  • 硬件生态:除 NVIDIA 3060 / 4090 / 5090 及 A100 / A800 / H100 / H800 / H200 等显卡外,LightX2V 还原生支持寒武纪 MLU590、沐曦 C500 等国产 AI 芯片,为本地化、大规模部署提供了基础。

使用与落地:从个人创作到企业集群

在实际使用上,LightX2V 覆盖了从个人到企业的不同需求:

  • 个人开发者:只需要一台带独显的笔记本或台式机,就可以本地启动带前端界面的视频生成工具,在 ComfyUI 中完成素材调试、风格迭代和项目输出。
  • 企业用户:通过 LightX2V 的服务化部署方案,可以一键搭建面向外部的 API 服务和 Web 应用,并按需扩展到多机多卡集群,支持批量视频生产和内部工具集成。
  • 普通用户:可直接访问网页版入口 x2v.light-ai.top,在浏览器中体验少步视频生成和实时预览。

从图像转视频、文本转视频,到世界模型和自动驾驶仿真,LightX2V 试图用开源的方式,把 “高质量、低成本、强实时” 的视频生成能力交到更多人手里。

文章来自于“机器之心”,作者 “机器之心”。

Related topics

After reading

Join the AINRK community

Read how to join the community and connect with people working in AI.

Community information (opens in a new tab)