Search

Results for “SGLang”

Total 16 articles

DeepSeek开源真香!vLLM/SGLang连夜性能反超,推理速度卷出新高度

DeepSeek开源真香!vLLM/SGLang连夜性能反超,推理速度卷出新高度 (opens in a new tab)

还得是「源神」D老师,善呐! 自家推理引擎DeepInfer掏出来还不到一周,开源社区就纷纷交上了作业。 真乃一鲸“落”万物生,第一波开源效果已经新鲜出炉: 立志学习DeepSeek、成为DeepSeek、超越DeepSeek。(bushi) vLLM、SGLang这些成熟的推理框架率先迎来T0升级包—— 在各自披露的测试配置下,性能已经接近甚至部分超过DeepInfer。 不戳不戳!DeepInfer最初基于vLLM构建,设计上也借鉴了SGLang的思路。 如今DeepSeek把打磨后的实现公开,两家又接着吸收、继续优化。 哥几个才是把开源玩出了花。 还有些受DeepInfer灵感启发的开发

AI news
0
对话盛颖:xAI,Infra的浪漫,SGLang,开源,平权与“甄嬛传”

对话盛颖:xAI,Infra的浪漫,SGLang,开源,平权与“甄嬛传” (opens in a new tab)

她是xAI前推理团队负责人。她研究并发起的开源推理引擎SGLang,已经成为众多大模型部署和推理的重要底层工具,也是目前AI infra领域最具影响力的开源推理框架之一。如今,她从SGLang开源生态中孵化出创业公司RadixArk,希望把只有少数科技巨头才能拥有的前沿AI基础设施,变成整个行业都可以使用的开放技术底座。

AI news
0
在线蒸馏灵活却太慢,离线缓存高效却不够灵活,LinkedIn 如何取舍?

在线蒸馏灵活却太慢,离线缓存高效却不够灵活,LinkedIn 如何取舍? (opens in a new tab)

LinkedIn 公开其 AI 职位搜索的多教师蒸馏训练基础设施,通过基于 SGLang 的定制框架结合在线与离线蒸馏方案,并叠加 LiGer、多节点训练、FSDP2 及 H200 集群等优化,实现约 8 倍训练加速,将 80 亿参数相关性模型和 17 亿参数互动模型的知识压缩至 6 亿参数排序模型,使职位搜索 NDCG@10 提升 24.48%。

AI guides
0