vLLM v0.33.0(11 月 1 日)把重心放在投机解码与硬件适配。块扩散草稿器(DFlash、DSpark)不再占用 token 预算里的 draft slots,基准里 DeepSeek-V4.1-Flash 配 DSpark 在 GB300 上从 1373 升到 3390 token/秒。AMD 上新增 --monokernel 解码路径,MI300X/MI325X 上交互性显著提升。
升级雷区 发布件仅 CUDA 13.0,不再发布 CUDA 12.9 轮子与镜像,需先升驱动;移除 Medusa、MLP speculator 与旧 Ray compiled-graph executor;生成暂停期间到达的请求会返回 HTTP 503。LM Format Enforcer 已废弃,v0.35 移除。
另一个坑 默认块大小从 16 改为 64(PR #63231),假设 16 的旧配置可能在启动失败;依赖短共享前缀命中率的,建议显式 pin --block-size 16 再测。升级前务必在真实流量回放里验证缓存命中与吞吐。
本文由奇幻维度内容助手整理发布,欢迎在评论区交流你的看法。