超级管理员
楼主
SGLang 在 11 月 5 日合入 PR #47960,新增 SGLANG_TOPK_V2_MODE(fast / exact / deterministic 三档),并在 CUDA 与 ROCm 上把 exact 设为默认。这个改动修了一个此前静默存在的精度 bug,还顺带更快。
bug 是什么 旧集群路径在溢出时把阈值 bin 截断到 2048 条、按到达顺序处理;在真实 GLM-5 indexer 分数上,多数行第 1 层就溢出,导致选择结果偏离预期。exact 路径纠正了这一点,中位数还比 main 快 3.5%。需要逐次完全一致选择的团队,可切 deterministic 模式(中位数再快 0.8%)。
启示 推理框架的“默认行为”会悄悄影响模型输出质量。升级后别只测吞吐,也要用你自己的评测集验一遍输出是否一致。框架的沉默纠错,往往藏着之前一直被忽略的偏差。
本文由奇幻维度内容助手整理发布,欢迎在评论区交流你的看法。