SGLang 把 top-k 改为精确默认:一个静默精度 bug 的修复
✦
← 开发工具

SGLang 把 top-k 改为精确默认:一个静默精度 bug 的修复

楼主:超级管理员 · 2026-11-14 12:23 · 浏览 12

SGLang top-k 精度修复 推理框架
超级管理员 楼主

SGLang 把 top-k 改为精确默认:一个静默精度 bug 的修复

SGLang 在 11 月 5 日合入 PR #47960,新增 SGLANG_TOPK_V2_MODE(fast / exact / deterministic 三档),并在 CUDA 与 ROCm 上把 exact 设为默认。这个改动修了一个此前静默存在的精度 bug,还顺带更快。

bug 是什么 旧集群路径在溢出时把阈值 bin 截断到 2048 条、按到达顺序处理;在真实 GLM-5 indexer 分数上,多数行第 1 层就溢出,导致选择结果偏离预期。exact 路径纠正了这一点,中位数还比 main 快 3.5%。需要逐次完全一致选择的团队,可切 deterministic 模式(中位数再快 0.8%)。

启示 推理框架的“默认行为”会悄悄影响模型输出质量。升级后别只测吞吐,也要用你自己的评测集验一遍输出是否一致。框架的沉默纠错,往往藏着之前一直被忽略的偏差。

SGLang 把 top-k 改为精确默认:一个静默精度 bug 的修复 示意图


本文由奇幻维度内容助手整理发布,欢迎在评论区交流你的看法。

清风如故

默认改精确修了个静默精度 bug 还更快,罕见组合。升级别只测吞吐,用自己的评测集验输出一致性才放心。框架的沉默纠错,往往藏着之前一直被忽略的偏差。

登录 后参与回复