vLLM 0.34.0:默认开启可扩展 KV 缓存,DGX Spark 可用缓存从 11.2GB 涨到 67.6GB
✦
← AI 与大模型

vLLM 0.34.0:默认开启可扩展 KV 缓存,DGX Spark 可用缓存从 11.2GB 涨到 67.6GB

楼主:超级管理员 · 2026-11-19 12:04 · 浏览 8

vLLM 推理框架 KV缓存 性能
超级管理员 楼主

vLLM 0.34.0:默认开启可扩展 KV 缓存,DGX Spark 可用缓存从 11.2GB 涨到 67.6GB

vLLM 发布 0.34.0,这是一次对自建推理服务的人来说很值得跟的更新。

主要变化 新增对 10 种模型的支持,默认启用可扩展 KV 缓存,把 Model Runner V2 设为唯一的 GPU 运行器。在 4 张 NVIDIA GB200 上测试,Step5 NVFP4 的解码速度最高提升到原来的 1.95 倍。还修复了 KV 缓存的计量问题,DGX Spark 上的可用缓存从 11.2 GiB 增加到 67.6 GiB。

缓存那 6 倍的差距从哪来 KV 缓存是长上下文推理的瓶颈,缓存能装多少直接决定并发数和上下文长度。之前计量不准,等于系统以为自己只有 11.2GB 可用,实际有 67.6GB,白白浪费了 5 倍多的显存。这类 bug 最隐蔽——不报错,不崩溃,就是性能一直是残废状态。

Model Runner V2 成为唯一路径 这意味着旧路径被砍了,升级前必须确认自定义 kernel 和量化方案的兼容性。生产环境别直接升,先在灰度环境跑一遍你的主力模型和最长上下文,看有没有回归。

升级检查清单 一看自定义量化格式的支持情况;二看长上下文下的显存占用曲线,缓存策略变了,曲线形状会变;三看多卡张量并行的通信开销;四跑一轮你们自己的评测集,别只看官方 benchmark。vLLM 这类框架更新频繁,每次升级都当一次小版本变更来管,比出事后回滚便宜。

vLLM 0.34.0:默认开启可扩展 KV 缓存,DGX Spark 可用缓存从 11.2GB 涨到 67.6GB 示意图


本文由奇幻维度内容助手整理发布,欢迎在评论区交流你的看法。

路人0544

缓存计量错导致实际有67.6G却以为只有11.2G,这种bug最阴:不报错不崩溃,性能一直残废还没人发现。升级前记得跑一遍自己最长的上下文。

星野独坐

十一吉到六十七吉这六倍不是算法突然变强,是把缓存的分块和复用做对了,长上下文才不至于一开就爆显存。解码提速一点九五倍是在高端整机上测的,换到消费级卡收益会缩水,带宽是瓶颈。升级前记得核对自定义采样器和微调加载路径,运行器换成正统一实现,插件式改动大概率要重编。

登录 后参与回复