Search

Results for “GLA”

Total 31 articles

DeepSeek开源真香!vLLM/SGLang连夜性能反超,推理速度卷出新高度

DeepSeek开源真香!vLLM/SGLang连夜性能反超,推理速度卷出新高度 (opens in a new tab)

还得是「源神」D老师,善呐! 自家推理引擎DeepInfer掏出来还不到一周,开源社区就纷纷交上了作业。 真乃一鲸“落”万物生,第一波开源效果已经新鲜出炉: 立志学习DeepSeek、成为DeepSeek、超越DeepSeek。(bushi) vLLM、SGLang这些成熟的推理框架率先迎来T0升级包—— 在各自披露的测试配置下,性能已经接近甚至部分超过DeepInfer。 不戳不戳!DeepInfer最初基于vLLM构建,设计上也借鉴了SGLang的思路。 如今DeepSeek把打磨后的实现公开,两家又接着吸收、继续优化。 哥几个才是把开源玩出了花。 还有些受DeepInfer灵感启发的开发

AI news
0
对话盛颖:xAI,Infra的浪漫,SGLang,开源,平权与“甄嬛传”

对话盛颖:xAI,Infra的浪漫,SGLang,开源,平权与“甄嬛传” (opens in a new tab)

她是xAI前推理团队负责人。她研究并发起的开源推理引擎SGLang,已经成为众多大模型部署和推理的重要底层工具,也是目前AI infra领域最具影响力的开源推理框架之一。如今,她从SGLang开源生态中孵化出创业公司RadixArk,希望把只有少数科技巨头才能拥有的前沿AI基础设施,变成整个行业都可以使用的开放技术底座。

AI news
0
WalkingLab:AI 时代的开源实验室

WalkingLab:AI 时代的开源实验室 (opens in a new tab)

WalkingLab 是由清华大学与香港大学团队发起的开源非营利实验室,专注真实世界 AI 与项目制学习,成立五个月已推出涵盖工程实践、强化学习和大语言模型的三门核心课程,累计获超 20,000 GitHub Star 并登上 Hacker News 首页,致力于通过真实项目连接课程、论文与工程实践,加速 AGI 到来。

AI news
0