Search

Results for “大模型推理”

Total 30 articles

DeepSeek开源推理框架,有人算出AI的毛利:82%

DeepSeek开源推理框架,有人算出AI的毛利:82% (opens in a new tab)

没想到这也开源了。 10 月 20 日下午,DeepSeek 开源了内部使用的推理框架 DeepInfer,以及配套的 token 编解码组件 deepseek-recipe。 DeepInfer 是目前支撑 DeepSeek 大规模推理服务的基础,本次以 Apache 2.0 许可证发布,当前支持 DeepSeek-V4.1-Flash。 这次发布迅速引起了关注,昨天大家讨论的都是 DeepSeek 现在让大家都可以快速部署自己的 AI 模型了,今天转念一想,不对,大模型推理怎么这么赚钱啊? DeepSeek 披露,基于这套系统,单个集群每天服务的吞吐量达到 155 万亿 token,按 A

AI news
0
大模型推理学习新范式!ExGRPO框架:从盲目刷题到聪明复盘

大模型推理学习新范式!ExGRPO框架:从盲目刷题到聪明复盘 (opens in a new tab)

大模型在强化学习过程中,终于知道什么经验更宝贵了! 来自上海人工智能实验室、澳门大学、南京大学和香港中文大学的研究团队,最近提出了一套经验管理和学习框架ExGRPO—— 通过科学地识别、存储、筛选和学习有价值的经验,让大模型在优化推理能力的道路上,走得更稳、更快、更远。

AI guides
0
DeepSeek新论文来了!联手清华、北大,优化智能体大模型推理

DeepSeek新论文来了!联手清华、北大,优化智能体大模型推理 (opens in a new tab)

「DeepSeek V4 来了!」这样的消息是不是已经听烦了?总结来说,这篇新论文介绍了一个名为「DualPath」的创新推理系统,专门针对智能体工作负载下的大语言模型(LLM)推理性能进行优化。具体来讲,通过引入「双路径 KV-Cache 加载」机制,解决了在预填充 - 解码(PD)分离架构下,KV-Cache 读取负载不平衡的问题。

AI guides
0