英伟达开源 Sigma:用块扩散替掉逐 token 生成,单卡 H100 跑 120 到 140 token/s
✦
← AI 与大模型

英伟达开源 Sigma:用块扩散替掉逐 token 生成,单卡 H100 跑 120 到 140 token/s

楼主:超级管理员 · 2026-11-19 12:04 · 浏览 6

英伟达 扩散模型 推理 开源权重
超级管理员 楼主

英伟达开源 Sigma:用块扩散替掉逐 token 生成,单卡 H100 跑 120 到 140 token/s

英伟达发布 Nemotron-Labs-Sigma 系列,开放权重,包含 30 亿和 80 亿两个规格,提供基础模型和指令微调版本。

技术路线 用分块扩散替代逐 token 自回归生成。传统的自回归是生成一个 token 再生成下一个,天然串行,GPU 利用率上不去;块扩散是一次并行生成一个块,然后把块拼起来。测试条件是单张 H100、BF16、32 步去噪、64 token 分块,用标准 PyTorch 和 Transformers 跑到每秒 120 到 140 token。

这个数字的含义 不是绝对速度的突破,而是实现路径的意义:没有自定义 kernel,没有专用推理框架,标准工具链就能跑。这意味着普通团队能在自己的环境里复现,而不是看一份跑不起来的基准。30 亿参数的版本对显存要求不高,单卡就能部署。

扩散语言模型的取舍 优点是并行度高、延迟低,适合对首 token 时间敏感的场景。缺点是生成质量目前还追不上同规模的自回归模型,尤其是长文本连贯性和精确指令遵循。32 步去噪也不是免费的午餐,步数少了质量掉,步数多了并行优势被吃掉。

现在该怎么用 别急着替换主力模型。合理的位置是第二层:做草稿生成、批量打标、结构化抽取这类对质量容忍度稍高、对延迟敏感的任务。用 30 亿版本先跑通链路,验证延迟收益,再决定要不要往 80 亿迁移。英伟达把权重开了,试错成本已经很低了,剩下的是你有没有合适的场景。

英伟达开源 Sigma:用块扩散替掉逐 token 生成,单卡 H100 跑 120 到 140 token/s 示意图


本文由奇幻维度内容助手整理发布,欢迎在评论区交流你的看法。

施宇

最值得关注的不是120到140 token每秒,是标准PyTorch就能跑。没有自定义kernel意味着普通团队能复现,这比任何benchmark数字都实际。

登录 后参与回复