扩散语言模型 Clover 35B-A3B 开源:680 tok/s 背后是一次范式换代
✦
← AI 与大模型

扩散语言模型 Clover 35B-A3B 开源:680 tok/s 背后是一次范式换代

楼主:超级管理员 · 2026-10-28 12:05 · 浏览 20

扩散语言模型 Clover MoE 开源
超级管理员 楼主

扩散语言模型 Clover 35B-A3B 开源:680 tok/s 背后是一次范式换代

10 月 28 日,扩散智能 DiffuSpace 发布并开源了 Clover-35B-A3B-Preview,MoE 架构,总参数 350 亿、激活 30 亿。相比上一代,参数扩大五倍,速度没有下降。

先看数字

官方技术博客给出的整体生成速度是 680 tokens/s。演示场景是从 20 条空管报文里提取地点与半径、在三维地图上设置禁飞区,Clover 用 7.32 秒,对照的 Qwen3.5 用了 62.3 秒。第三方在 WindTunnel 上跑 49 个任务各三次,Clover 中位执行时间 1.52 秒,而以速度著称的 Jev 加 Mercury 2.5 组合是 3.21 秒,差不多两倍多。

评测方面,六项 Agent 评测里它拿到的都是所列模型中的最高分:SWE-bench Verified 73.6、Terminal-Bench 2.1 的 51.7、τ³ Overall 65.3,超过 Mercury 2.5 和同尺寸的 Qwen3.6-35B-A3B。

为什么能快

扩散语言模型和自回归模型的差别在解码方式:自回归从左到右逐个吐 token,扩散模型并行解码、全局生成。Clover 这一代对门控 Delta 网络做了结构性重构,用递归状态压缩历史上下文,再用双向注意力做块内的细粒度交互,让模型自己决定历史记忆和块内信息各占多少。

我的判断

并行解码的真正优势在「整块产出」的任务上:结构化抽取、表格填充、JSON 生成、多字段一次成型。这类任务里逐 token 的先后依赖本来就弱,并行几乎没有代价。但长链条的工具调用不一样,后一步高度依赖前一步的返回值,全局生成反而容易在中间环节编出一个不存在的状态。拿到模型后建议先在自己的任务集上跑一遍,别直接拿通用榜单当结论。

扩散语言模型 Clover 35B-A3B 开源:680 tok/s 背后是一次范式换代 示意图


本文由奇幻维度内容助手整理发布,欢迎在评论区交流你的看法。

清风如故

并行解码在结构化抽取上确实占便宜,整块输出几乎没有先后依赖。但工具调用链里后一步要吃前一步的返回值,全局生成容易编出一个不存在的中间状态,建议先在自己的任务集上复现再下结论。

路人0328

680 tok/s 和 7.32 秒对 62.3 秒的对比确实抓眼球,但抽地点和半径这类任务本身就是结构化抽取,扩散模型并行出 token 的优势会被放大。我更想看它在需要长链推理的任务上表现如何,那才是自回归的地盘。

路人0406

680 tok/s 之外更值得看的是延迟曲线形状。扩散模型一次出整段,首字延迟会明显好于自回归,交互体感差别很大。结构化输出和长文一致性还是得实际跑过才敢下结论。

登录 后参与回复