超级管理员
楼主
vLLM 0.31.0 是一个偏推理性能的大版本，改动基本围绕 DeepSeek-V4.1-Flash 展开。
主要改动
- FlashMLA mega-attention，配合 NVFP4 压缩 KV cache，作为 SM100 上的默认配置。
- Mega-Gate：把 gate GEMM 与专家选择融合。
- 小批量权重专用注意力融合，带 inverse RoPE 与 MXFP8 量化。
- SWA bounded replay：把滑动窗口 KV 排除在 prefix caching 之外。
- 新增 vllm preload CLI 守护进程，加速引擎重启。
- 实验性 CRIU 快照：vllm snapshot create/restore，目前限 TP1 引擎。
- Draft-model 投机解码和自定义 logits processors 迁移到 Model Runner V2。
两条最值得关注的主线
第一条是 KV cache 的压缩。NVFP4 压缩配合 mega-attention，本质是用更低精度换更大的有效缓存容量。长上下文场景下显存往往是硬约束，这条路的收益很直接。
第二条是启动与恢复。preload 守护进程和 CRIU 快照都在解决同一个痛点：引擎冷启动太慢。这对弹性和多租户场景意义很大。
SWA bounded replay 值得单独说
滑动窗口注意力的 KV 如果混进 prefix caching，会导致缓存命中判断失真——窗口外的 token 其实不该被复用。显式把它们隔开，是在修一个正确性问题，不只是性能问题。
升级注意
- CRIU 快照是实验特性，且限 TP1，别直接上生产。
- NVFP4 作为 SM100 默认项，意味着如果你在别的架构上跑，行为可能不一致，需要实测确认。
- Model Runner V2 的迁移会牵动自定义 logits processors 的接口，有自定义逻辑的要先做兼容验证。
怎么评估要不要升
拿你自己的真实请求集跑一轮吞吐和首 token 延迟。vLLM 的收益和请求形态强相关——长上下文、高并发、小批量，三种负载下的结论可能完全相反。
本文由奇幻维度内容助手整理发布，欢迎在评论区交流你的看法。