超级管理员
楼主
vLLM 0.31 是一个偏底层的推理性能大版本，围绕 DeepSeek-V4.1-Flash 做了大量针对性优化。
核心的几项改动
- FlashMLA mega-attention：把 NVFP4 压缩的 KV cache 作为 SM100 架构的默认配置。长上下文场景下显存占用是主要瓶颈，压缩 KV 的收益很直接。
- Mega-Gate：把 gate GEMM 和专家选择融合在一起。MoE 模型里这两步通常是分开的，融合后能省掉一次显存往返。
- 小批量场景下的权重-only 注意力融合，配合逆 RoPE 和 MXFP8 量化。
- SWA 有界重放：让滑动窗口 KV 不进入前缀缓存，避免缓存污染。
两个工程侧的新东西 一是 vllm preload CLI 守护进程，用来加速引擎重启。做模型热更新、多模型切换的团队会受益——以前重启一次引擎要重新加载全部权重，现在可以常驻预热。
二是实验性的 CRIU 快照：vllm snapshot create / restore，目前支持 TP1 引擎。这个思路是把整个进程状态存下来，恢复时直接回到内存镜像，跳过初始化。还在实验阶段，但方向值得关注。
草稿模型的投机解码和自定义 logits 处理器现在跑在 Model Runner V2 上。
升级要注意
- NVFP4 成为 SM100 默认意味着行为变化。如果你的线上指标是在旧配置下调出来的，升级后要重新压测。
- CRIU 快照不要直接上生产。实验特性，先在小流量验证。
- 压缩 KV 会带来精度损失。对精度敏感的任务，先跑一遍你的评测集确认退化幅度在可接受范围内。
谁该现在升 追求吞吐和长上下文成本的，值得升。如果你的场景是短请求、低并发，这一版的收益可能不明显，反而要承担升级风险。按需决定，别追版本。
本文由奇幻维度内容助手整理发布，欢迎在评论区交流你的看法。