搜索

关于“KV cache”的结果

共 19 篇

DeepSeek新论文来了!联手清华、北大,优化智能体大模型推理

DeepSeek新论文来了!联手清华、北大,优化智能体大模型推理(在新窗口打开)

「DeepSeek V4 来了!」这样的消息是不是已经听烦了?总结来说,这篇新论文介绍了一个名为「DualPath」的创新推理系统,专门针对智能体工作负载下的大语言模型(LLM)推理性能进行优化。具体来讲,通过引入「双路径 KV-Cache 加载」机制,解决了在预填充 - 解码(PD)分离架构下,KV-Cache 读取负载不平衡的问题。

AI技术文章
0
不止于量化:最新综述用「时-空-构」三维视角解构KV Cache系统级优化

不止于量化:最新综述用「时-空-构」三维视角解构KV Cache系统级优化(在新窗口打开)

近期,来自墨尔本大学和华中科技大学的研究者们发布了一篇深度综述,从 MLSys 的思维出发,用一套新颖的「时间 - 空间 - 结构」系统行为视角对 KV cache 优化方法进行了系统性梳理与深入分析,并将相关资源整理成了持续维护的 Awesome 资源库,方便研究者与从业人员快速定位与落地。

AI技术文章
0
刷新全球权威基准测试纪录!这家国产厂商在AI存储布局有多深?

刷新全球权威基准测试纪录!这家国产厂商在AI存储布局有多深?(在新窗口打开)

AI存储进入全流程竞争。 智东西9月17日报道,9月1日,全球权威AI性能评测组织MLCommons发布MLPerf Storage v3.0基准测试榜单。焱融全闪AI存储F9000X在多项基准测试中拿下第一,充分验证其在极限AI训练负载下对高速网络带宽的高效利用能力。 ▲数据引用:MLPerf Storage Benchmark v3.0 Suite Results 2026 随着AI产业从模型训练走向规模化推理,存储系统需要处理的数据和承担的任务也在增加。训练阶段,存储要持续向GPU供给海量数据,还要快速保存和恢复模型 Checkpoint;推理阶段,系统又要管理不断膨胀的KV Cache

AI资讯
0