Search

Results for “H200”

Total 14 articles

在线蒸馏灵活却太慢,离线缓存高效却不够灵活,LinkedIn 如何取舍?

在线蒸馏灵活却太慢,离线缓存高效却不够灵活,LinkedIn 如何取舍? (opens in a new tab)

LinkedIn 公开其 AI 职位搜索的多教师蒸馏训练基础设施,通过基于 SGLang 的定制框架结合在线与离线蒸馏方案,并叠加 LiGer、多节点训练、FSDP2 及 H200 集群等优化,实现约 8 倍训练加速,将 80 亿参数相关性模型和 17 亿参数互动模型的知识压缩至 6 亿参数排序模型,使职位搜索 NDCG@10 提升 24.48%。

AI guides
0