搜索

关于“vLLM”的结果

共 13 篇

DeepSeek开源真香!vLLM/SGLang连夜性能反超,推理速度卷出新高度

DeepSeek开源真香!vLLM/SGLang连夜性能反超,推理速度卷出新高度(在新窗口打开)

还得是「源神」D老师,善呐! 自家推理引擎DeepInfer掏出来还不到一周,开源社区就纷纷交上了作业。 真乃一鲸“落”万物生,第一波开源效果已经新鲜出炉: 立志学习DeepSeek、成为DeepSeek、超越DeepSeek。(bushi) vLLM、SGLang这些成熟的推理框架率先迎来T0升级包—— 在各自披露的测试配置下,性能已经接近甚至部分超过DeepInfer。 不戳不戳!DeepInfer最初基于vLLM构建,设计上也借鉴了SGLang的思路。 如今DeepSeek把打磨后的实现公开,两家又接着吸收、继续优化。 哥几个才是把开源玩出了花。 还有些受DeepInfer灵感启发的开发

AI资讯
0
比现有框架快22倍,浙大开源EasySteer:高性能LLM Steering统一框架

比现有框架快22倍,浙大开源EasySteer:高性能LLM Steering统一框架(在新窗口打开)

在此背景下,浙江大学研究团队提出了 EasySteer——一个基于 vLLM 构建的高性能、可扩展 LLM Steering 统一框架。该框架通过与 vLLM 推理引擎的深度集成,相比现有 Steering 框架实现了 10.8-22.3 倍的推理加速,同时提供更细粒度的干预控制,并为八大应用场景提供了预计算 Steering 向量与完整复现示例,方便研究者快速上手和对照复现。

AI技术文章
0
Router的作用被低估了?vLLM这个神器,让单次调用背后藏了一支模型协作小队

Router的作用被低估了?vLLM这个神器,让单次调用背后藏了一支模型协作小队(在新窗口打开)

vLLM 社区推出的 Semantic Router 除了专注上面三个方向,正在更进一步:我们认为:router 不只是选择模型,还可以提升模型能力。用户不用改权重,也不用让每个 Agent 团队都自己搭一套 Graph,而是在一次普通 Model API 调用的内部,组织出一支有边界、有预算、有验证、有回退的 “小队”。

AI技术文章
0