搜索

关于“H200”的结果

共 14 篇

在线蒸馏灵活却太慢,离线缓存高效却不够灵活,LinkedIn 如何取舍?

在线蒸馏灵活却太慢,离线缓存高效却不够灵活,LinkedIn 如何取舍?(在新窗口打开)

LinkedIn 公开其 AI 职位搜索的多教师蒸馏训练基础设施,通过基于 SGLang 的定制框架结合在线与离线蒸馏方案,并叠加 LiGer、多节点训练、FSDP2 及 H200 集群等优化,实现约 8 倍训练加速,将 80 亿参数相关性模型和 17 亿参数互动模型的知识压缩至 6 亿参数排序模型,使职位搜索 NDCG@10 提升 24.48%。

AI技术文章
0