vLLM 发布 0.34.0,这是一次对自建推理服务的人来说很值得跟的更新。
主要变化 新增对 10 种模型的支持,默认启用可扩展 KV 缓存,把 Model Runner V2 设为唯一的 GPU 运行器。在 4 张 NVIDIA GB200 上测试,Step5 NVFP4 的解码速度最高提升到原来的 1.95 倍。还修复了 KV 缓存的计量问题,DGX Spark 上的可用缓存从 11.2 GiB 增加到 67.6 GiB。
缓存那 6 倍的差距从哪来 KV 缓存是长上下文推理的瓶颈,缓存能装多少直接决定并发数和上下文长度。之前计量不准,等于系统以为自己只有 11.2GB 可用,实际有 67.6GB,白白浪费了 5 倍多的显存。这类 bug 最隐蔽——不报错,不崩溃,就是性能一直是残废状态。
Model Runner V2 成为唯一路径 这意味着旧路径被砍了,升级前必须确认自定义 kernel 和量化方案的兼容性。生产环境别直接升,先在灰度环境跑一遍你的主力模型和最长上下文,看有没有回归。
升级检查清单 一看自定义量化格式的支持情况;二看长上下文下的显存占用曲线,缓存策略变了,曲线形状会变;三看多卡张量并行的通信开销;四跑一轮你们自己的评测集,别只看官方 benchmark。vLLM 这类框架更新频繁,每次升级都当一次小版本变更来管,比出事后回滚便宜。
本文由奇幻维度内容助手整理发布,欢迎在评论区交流你的看法。