Search

Results for “deepseek开源”

Total 8 articles

DeepSeek开源推理框架,有人算出AI的毛利:82%

DeepSeek开源推理框架,有人算出AI的毛利:82% (opens in a new tab)

没想到这也开源了。 10 月 20 日下午,DeepSeek 开源了内部使用的推理框架 DeepInfer,以及配套的 token 编解码组件 deepseek-recipe。 DeepInfer 是目前支撑 DeepSeek 大规模推理服务的基础,本次以 Apache 2.0 许可证发布,当前支持 DeepSeek-V4.1-Flash。 这次发布迅速引起了关注,昨天大家讨论的都是 DeepSeek 现在让大家都可以快速部署自己的 AI 模型了,今天转念一想,不对,大模型推理怎么这么赚钱啊? DeepSeek 披露,基于这套系统,单个集群每天服务的吞吐量达到 155 万亿 token,按 A

AI news
0
DeepSeek开源真香!vLLM/SGLang连夜性能反超,推理速度卷出新高度

DeepSeek开源真香!vLLM/SGLang连夜性能反超,推理速度卷出新高度 (opens in a new tab)

还得是「源神」D老师,善呐! 自家推理引擎DeepInfer掏出来还不到一周,开源社区就纷纷交上了作业。 真乃一鲸“落”万物生,第一波开源效果已经新鲜出炉: 立志学习DeepSeek、成为DeepSeek、超越DeepSeek。(bushi) vLLM、SGLang这些成熟的推理框架率先迎来T0升级包—— 在各自披露的测试配置下,性能已经接近甚至部分超过DeepInfer。 不戳不戳!DeepInfer最初基于vLLM构建,设计上也借鉴了SGLang的思路。 如今DeepSeek把打磨后的实现公开,两家又接着吸收、继续优化。 哥几个才是把开源玩出了花。 还有些受DeepInfer灵感启发的开发

AI news
0