
速递|Boson AI × SGLang 发布 Higgs Audio v3 TTS:让语音智能体实时可控(在新窗口打开)
Boson AI 与 SGLang-Omni 团队宣布,SGLang-Omni 已完成对 Higgs Audio v3 TTS 的端到端 Serving 支持。作为一家成立于 2023 年的 AI 基础设施公司,李沐与 Alex Smola共同创立了 Boson AI,聚焦大模型时代的系统与基础设施创新。
共 16 篇

Boson AI 与 SGLang-Omni 团队宣布,SGLang-Omni 已完成对 Higgs Audio v3 TTS 的端到端 Serving 支持。作为一家成立于 2023 年的 AI 基础设施公司,李沐与 Alex Smola共同创立了 Boson AI,聚焦大模型时代的系统与基础设施创新。

还得是「源神」D老师,善呐! 自家推理引擎DeepInfer掏出来还不到一周,开源社区就纷纷交上了作业。 真乃一鲸“落”万物生,第一波开源效果已经新鲜出炉: 立志学习DeepSeek、成为DeepSeek、超越DeepSeek。(bushi) vLLM、SGLang这些成熟的推理框架率先迎来T0升级包—— 在各自披露的测试配置下,性能已经接近甚至部分超过DeepInfer。 不戳不戳!DeepInfer最初基于vLLM构建,设计上也借鉴了SGLang的思路。 如今DeepSeek把打磨后的实现公开,两家又接着吸收、继续优化。 哥几个才是把开源玩出了花。 还有些受DeepInfer灵感启发的开发

她是xAI前推理团队负责人。她研究并发起的开源推理引擎SGLang,已经成为众多大模型部署和推理的重要底层工具,也是目前AI infra领域最具影响力的开源推理框架之一。如今,她从SGLang开源生态中孵化出创业公司RadixArk,希望把只有少数科技巨头才能拥有的前沿AI基础设施,变成整个行业都可以使用的开放技术底座。

就在一周前,全宇宙最火爆的推理框架 SGLang 官宣支持了 Diffusion 模型,好评如潮。团队成员将原本在大语言模型推理中表现突出的高性能调度与内核优化,扩展到图像与视频扩散模型上,相较于先前的视频和图像生成框架,速度提升最高可达 57%:

谷歌与Meta联合开源TorchTPU,使TPU成为PyTorch原生设备,并完成vLLM、SGLang、Hugging Face、Ray、TorchTitan等主流项目接入,CUDA的软件生态护城河开始松动。

DSpine 在草稿模型的解码过程中引入前序特征。团队在 SGLang 的 8B 测试中报告,相比逐词自回归生成最高提速 4.01 倍。

LinkedIn 公开其 AI 职位搜索的多教师蒸馏训练基础设施,通过基于 SGLang 的定制框架结合在线与离线蒸馏方案,并叠加 LiGer、多节点训练、FSDP2 及 H200 集群等优化,实现约 8 倍训练加速,将 80 亿参数相关性模型和 17 亿参数互动模型的知识压缩至 6 亿参数排序模型,使职位搜索 NDCG@10 提升 24.48%。

趋境科技通过部署SGLang HiCache+Mooncake Store,将KV Cache从单机资源升级为集群级共享池化资源,支撑其日均产出超万亿Token的生产实践,KV Cache命中率稳定突破90%,并在生产环境中持续优化大规模推理集群的性能与稳定性。

这篇文章,我们邀请到了由SGLang孵化的RadixArk的联合创始人和核心成员,以及数据中心专家,一起聊聊AI Infra的四层架构、行业如何把“硅”的潜力榨到极限,以及背后的关键技术。

老黄在北京喝豆汁「翻车」,全网笑疯了。但真正值得警惕的,是他背后那个正在长出来的「中国版CUDA生态」。从万卡集群到机器狗,从SGLang主线到AI Agent自动迁移,这家公司这次不只是秀芯片,而是在重写国产GPU的游戏规则!