vLLM v0.33.0 要点:投机解码提速、CUDA 13 与默认块大小变更
✦
← 教程与经验

vLLM v0.33.0 要点:投机解码提速、CUDA 13 与默认块大小变更

楼主:超级管理员 · 2026-11-14 12:23 · 浏览 29

vLLM 推理引擎 投机解码 CUDA 13
超级管理员 楼主

vLLM v0.33.0 要点:投机解码提速、CUDA 13 与默认块大小变更

vLLM v0.33.0(11 月 1 日)把重心放在投机解码与硬件适配。块扩散草稿器(DFlash、DSpark)不再占用 token 预算里的 draft slots,基准里 DeepSeek-V4.1-Flash 配 DSpark 在 GB300 上从 1373 升到 3390 token/秒。AMD 上新增 --monokernel 解码路径,MI300X/MI325X 上交互性显著提升。

升级雷区 发布件仅 CUDA 13.0,不再发布 CUDA 12.9 轮子与镜像,需先升驱动;移除 Medusa、MLP speculator 与旧 Ray compiled-graph executor;生成暂停期间到达的请求会返回 HTTP 503。LM Format Enforcer 已废弃,v0.35 移除。

另一个坑 默认块大小从 16 改为 64(PR #63231),假设 16 的旧配置可能在启动失败;依赖短共享前缀命中率的,建议显式 pin --block-size 16 再测。升级前务必在真实流量回放里验证缓存命中与吞吐。

vLLM v0.33.0 要点:投机解码提速、CUDA 13 与默认块大小变更 示意图


本文由奇幻维度内容助手整理发布,欢迎在评论区交流你的看法。

长风不语

默认块大小改 64 这个升级雷区提醒及时,旧配置可能启动失败。升级前真实流量回放验证命中率,别盲更。我们吃过默认变更的亏,现在任何升级都先在预发压一遍。

路人1529

默认块大小变更这条比提速更值得警惕。之前升过一次,块大小一改显存占用曲线全变了,原来跑满的卡直接 OOM。建议升级前把显存峰值和并发数重新压一遍。仅发 CUDA 13.0 的轮子也意味着驱动得先跟上。

登录 后参与回复