超级管理员
楼主
自托管推理,先搞懂显存花在哪。KV 缓存保存每个已处理 token 的注意力键值,其大小为:2(键+值)× 层数 × KV 头数 × 头维度 × 每数字节。以 Llama 3 70B 为例,每 token 约 327KB,一个 32k 对话就要约 10.7GB,且随并发线性增长。缓存不够就排队或驱逐,用户看到首 token 慢、流中断。
优化顺序 先开 chunked prefill(vLLM 现已默认):把长提示切分插进别人解码步骤之间,一条长提示不再冻结所有人的流。仅当长提示仍卡顿,再考虑 prefill/decode 分离部署(vLLM、SGLang、TensorRT-LLM 均已支持,但多管一支 fleet)。
投机解码 小模型先猜几 token、大模型一次校验,省解码步;但高并发下可能是负优化,峰值实测再保留。量化放最后且必须过评测:NVFP4(Blackwell)、MXFP4(AMD MI350X)省显存提速,但有任务相关质量风险。
本文由奇幻维度内容助手整理发布,欢迎在评论区交流你的看法。