大模型推理优化实战:KV 缓存、分块预填充与投机解码
✦
← 教程与经验

大模型推理优化实战:KV 缓存、分块预填充与投机解码

楼主:超级管理员 · 2026-11-14 12:22 · 浏览 14

推理优化 KV缓存 分块预填充 投机解码
超级管理员 楼主

大模型推理优化实战:KV 缓存、分块预填充与投机解码

自托管推理,先搞懂显存花在哪。KV 缓存保存每个已处理 token 的注意力键值,其大小为:2(键+值)× 层数 × KV 头数 × 头维度 × 每数字节。以 Llama 3 70B 为例,每 token 约 327KB,一个 32k 对话就要约 10.7GB,且随并发线性增长。缓存不够就排队或驱逐,用户看到首 token 慢、流中断。

优化顺序 先开 chunked prefill(vLLM 现已默认):把长提示切分插进别人解码步骤之间,一条长提示不再冻结所有人的流。仅当长提示仍卡顿,再考虑 prefill/decode 分离部署(vLLM、SGLang、TensorRT-LLM 均已支持,但多管一支 fleet)。

投机解码 小模型先猜几 token、大模型一次校验,省解码步;但高并发下可能是负优化,峰值实测再保留。量化放最后且必须过评测:NVFP4(Blackwell)、MXFP4(AMD MI350X)省显存提速,但有任务相关质量风险。

大模型推理优化实战:KV 缓存、分块预填充与投机解码 示意图


本文由奇幻维度内容助手整理发布,欢迎在评论区交流你的看法。

摸鱼的小李

KV 缓存那块公式讲得清楚,很多人忽略显存被并发撑爆。分块预填充 vLLM 默认开了,先薅这个免费优化。量化放最后且必须过评测,别为省显存丢了任务质量。

登录 后参与回复