AI news

刚刚,DeepSeek开始频繁更新:Tile Kernels、DeepEP V2

By 机器之心编辑部1 viewsSource: 机器之心
刚刚,DeepSeek开始频繁更新:Tile Kernels、DeepEP V2

就在刚刚,DeepSeek 的 GitHub 开始了频繁更新,上线开源了一个新的代码库 Tile Kernels,同时并对 DeepEP 代码库进行了更新,上线了 DeepEP V2。距离上次 DeepSeek 悄悄更新 Mega MoE、FP4 Indexer 还不到一周。

The full text has not been translated yet. The Chinese original is shown below.

就在刚刚,DeepSeek 的 GitHub 开始了频繁更新,上线开源了一个新的代码库Tile Kernels,同时并对 DeepEP 代码库进行了更新,上线了DeepEP V2。距离上次DeepSeek 悄悄更新 Mega MoE、FP4 Indexer(在新窗口打开)还不到一周。

Tile Kernels

文章配图

链接:https://github.com/deepseek-ai/TileKernels

据介绍,Tile Kernels 是为 LLM 操作优化的 GPU kernels,是用 TileLang 构建的。而 TileLang 是一种用于在 Python 中表达高性能 GPU kernels 的领域特定语言,具备易迁移、敏捷开发和自动优化等特性。

Tile Kernels 的性能非常强悍,正如 DeepSeek 写的那样:「本项目中的大多数 kernels 在计算强度和内存带宽方面都已接近硬件性能上限。其中部分已经在内部训练和推理场景中投入使用。不过,它们尚不代表最佳实践,我们也在持续改进代码质量和文档。」

代码库的介绍信息不多,然而字里行间「剧透」了 DeepSeek 下一代模型底层的架构创新路线。

下面是 Tile Kernels 的一些具体特性:

  • 门控机制:用于 MoE 路由的 Top-k 专家选择与打分
  • MoE 路由:Token 到专家的映射,融合的扩展 / 归约以及权重归一化
  • 量化(Quantization):支持 per-token、per-block、per-channel 的 FP8/FP4/E5M6 转换,并融合 SwiGLU + quantization 操作
  • 转置:批量转置操作
  • Engram:Engram gating kernels,融合 RMSNorm、前向 / 反向传播以及权重梯度归约
  • Manifold HyperConnection:超连接 kernels,包含 Sinkhorn 归一化以及 mix 的拆分与应用
  • Modeling:高层 torch.autograd.Function 封装,将底层 kernels 组合为可训练层(engram gate、mHC pipeline)

EPv2:更快的 EP、并支持 Engram/PP/CP

文章配图

EPv2 地址:https://github.com/deepseek-ai/DeepEP/pull/605

在今天更早的时候,DeepSeek 还发布了最新版本的EPv2,实现了更快的专家并行(EP),并支持 Engram / 流水线并行(PP)、上下文并行(CP)。

随着硬件、网络和模型架构的演进,DeepSeek 此前的 DeepEP V1 积累了过多的历史包袱和性能问题。

本次更新对专家并行(Expert Parallelism)进行了彻底重构 —— 与 V1 相比,仅需几分之一的 SM 资源即可实现极致性能,同时支持更大规模的 Scale-up(单机扩展)和 Scale-out(跨机扩展)。

此外,DeepSeek 还在本次更新中推出了实验性的 0 SM 系列方案,包括 0 SM Engram、0 SM 流水线并行(PP)以及 0 SM 上下文并行(CP)的 All-gather 算子。此外,后端已从 NVSHMEM 切换为更加轻量化的 NCCL Gin 后端。

下面是 DeepEP V2 版本的一些新特性:

  • 全时即时编译 (Fully JIT)
  • NCCL Gin 后端:
  • 仅包含头文件(Header-only),极致轻量。
  • 能够复用现有的 NCCL 通信器。
  • EPv2:
  • 将高吞吐与低延迟 API 统一为单一接口,并采用全新的 GEMM 布局。
  • 支持更大规模的扩展领域(最高支持 EP2048)。
  • 引入分析化的 SM 和 QP 计数计算 —— 无需再进行自动调优(Auto-tuning)。
  • 持续支持混合模式(Hybrid)与直接模式(Direct)。
  • 针对类 V3 的旧版训练任务,SM 占用从 24 个降至 4-6 个,同时保持同等甚至更优的性能。
  • 0 SM Engram(配合 RDMA)
  • 0 SM PP(配合 RDMA)
  • 0 SM CP(配合 Copy Engine)

性能表现

遵循 DeepSeek-V3 的配置,在新版本下,在每批次 8K token、7168 隐层维度、Top-8 专家、FP8 分发以及 BF16 结合的设置下进行了测试,结果如下:

文章配图

说明:结果显示的是逻辑带宽。例如在 EP 8 x 2 的情况下,90 GB/s 的带宽实际上包含了本地显卡(local rank)间的流量。

与 V1 相比,V2 实现了高达 1.3 倍的峰值性能,同时节省了多达 4 倍的 SM 资源占用。

最后,劝一下 DeepSeek,赶快发 V4 吧,都等急了。

文章来自于"机器之心",作者 "机器之心编辑部"。

Related topics

After reading

Join the AINRK community

Read how to join the community and connect with people working in AI.

Community information (opens in a new tab)