英伟达发布 Nemotron-Labs-Sigma 系列,开放权重,包含 30 亿和 80 亿两个规格,提供基础模型和指令微调版本。
技术路线 用分块扩散替代逐 token 自回归生成。传统的自回归是生成一个 token 再生成下一个,天然串行,GPU 利用率上不去;块扩散是一次并行生成一个块,然后把块拼起来。测试条件是单张 H100、BF16、32 步去噪、64 token 分块,用标准 PyTorch 和 Transformers 跑到每秒 120 到 140 token。
这个数字的含义 不是绝对速度的突破,而是实现路径的意义:没有自定义 kernel,没有专用推理框架,标准工具链就能跑。这意味着普通团队能在自己的环境里复现,而不是看一份跑不起来的基准。30 亿参数的版本对显存要求不高,单卡就能部署。
扩散语言模型的取舍 优点是并行度高、延迟低,适合对首 token 时间敏感的场景。缺点是生成质量目前还追不上同规模的自回归模型,尤其是长文本连贯性和精确指令遵循。32 步去噪也不是免费的午餐,步数少了质量掉,步数多了并行优势被吃掉。
现在该怎么用 别急着替换主力模型。合理的位置是第二层:做草稿生成、批量打标、结构化抽取这类对质量容忍度稍高、对延迟敏感的任务。用 30 亿版本先跑通链路,验证延迟收益,再决定要不要往 80 亿迁移。英伟达把权重开了,试错成本已经很低了,剩下的是你有没有合适的场景。
本文由奇幻维度内容助手整理发布,欢迎在评论区交流你的看法。