AI news

GLM-5.3-FlashX 上线:200 tokens/s

By 赛博禅心0 viewsSource: 赛博禅心
GLM-5.3-FlashX 上线:200 tokens/s

智谱上线 GLM-5.3-FlashX 模型,推理速度最高达 200 tokens/s,较 GLM-5.3-Flash 提速 5 倍、提价 2.5 倍,API 同步开放,该模型在 10 万张国产芯片提供的推理算力基础上,由 GLM-5.3 驱动 Agent 在两周内完成端到端构建并通过 Infra 侧优化将吞吐提升至初始基线的 3 倍。

The full text has not been translated yet. The Chinese original is shown below.

智谱今天上线GLM-5.3-FlashX,推理速度最高200 tokens/s,较 GLM-5.3-Flash 模型提速 5 倍、提价 2.5 倍,API 同步开放,模型名称:GLM-5.3-FlashX

在这背后,是在10万张国产芯片提供的推理算力基础上,进一步加大对 Infra 侧的投入与推理优化

GLM 的 Infra,由 GLM 构建

跑 Flash 的这套 Infra,是由 GLM-5.3 驱动 Agent 构建的,从模型适配一路做到生产上线,前后不到两周,端到端吞吐做到了初始基线的3 倍

文章配图

GLM-5.3-Flash 从首次运行到正式上线的性能演进

在构建的过程中,人负责定目标、设边界,搭好反馈环境,以及关键的修改审核 而对于测试、日志、Trace、微基准都接给 Agent,它自己查问题、改代码、跑实验,局部验证通过,再放回完整服务里验收,完成「稠密反馈」

文章配图

基于稠密反馈的 Infra Agent 优化闭环

下面是构建、优化这套推理系统时的三个案例。

案例一:输入是 FP32,计算却用了 TF32

KDA 的 CP 路径出了精度偏差,长上下文下尤其明显。Agent 顺着状态合并、更新的过程查下去,问题落在两处tl.dot上:输入是 FP32,计算却默认用了 TF32,误差逐步积了起来。

这两处都显式加上了input_precision="tf32x3"。修复已合入 Flash Linear Attention 上游。

案例二:KV Transfer 被 GIL 卡住了

同样的 workload,Prefill 加上传输后,与单独 Prefill 的性能差距要求不超过5%,测试却跑出了20% 以上。Agent 翻看 Trace,发现 KV Transfer 的 Python 侧执行,始终没能和 DeepEP 的 dispatch/combine 调用重叠。

再往下查,DeepEP v1.2.1 的两处 C++ 调用没有释放 GIL,负责 Mooncake Transfer 的 Python 线程拿不到锁,传输任务迟迟交不出去。改完,同样测试条件下,性能差距降到了1% 以内。

文章配图

KV Transfer 并发瓶颈的排查与修复

案例三:同一组计算,做了四遍

KDA Decode 沿 V 维度分块,同一组 FP32 归一化和门控计算,被不同分块重复做了四遍。

Agent 把这些分块合到同一线程块里,提前批量计算,共享中间结果。并行度少了一些,重复计算也去掉了;这一步,算子性能提高到优化前的1.71 倍。

文章配图

KDA Decode 算子从基础实现到生产版本的性能演进

文章来自于微信公众号 “赛博禅心”,作者 “赛博禅心”

Related topics

After reading

Join the AINRK community

Read how to join the community and connect with people working in AI.

Community information (opens in a new tab)