Search

Results for “GPU”

Total 229 articles

Kimi开源又放大招!20秒更新万亿参数的中间件来了

Kimi开源又放大招!20秒更新万亿参数的中间件来了 (opens in a new tab)

Kimi开源又双叒放大招了! 一个中间件,就能让Kimi K2的万亿模型参数进入“秒更时代”。 不仅支持一次性把更新完的权重从一个节点同时发送给所有节点,还能实现点对点动态更新。 网友也算是大开眼界了,可谓频频惊叹。 下面让我们一起看看这个中间件到底是如何发挥大作用的。 20秒更新万亿参数 此中间件名为checkpoint-engine(检查点引擎),主要用于强化学习中的一个关键步骤——在大语言模型推理过程中更新模型权重。 借助此组件,Kimi-K2只需约20秒就可实现在数千个GPU上更新1万亿参数。 与Kimi k1. 5类似,K2在同步强化学习训练中采用了混合共置架构,即训练引擎和推理引擎

AI guides
0