扩散智能 DiffuSpace 发布了 Clover-35B-A3B-Preview 的技术报告,同时首次公开了基于它衍生的决策模型。
架构上解决了什么矛盾 Clover 是开源扩散语言模型,MoE 架构,总参 350 亿、激活 30 亿。核心创新是针对块扩散重构的门控 Delta 网络,叫 BD-GDN。要解决的矛盾很具体:传统 GDN 靠循环状态压缩历史上下文,天然是从左到右单向处理;扩散生成需要当前块内的多个 token 双向交互。一个要单向,一个要双向,硬凑会互相拖累。
联合预测的实测数据 基于 Clover 的 System 1 快速决策模型,利用块扩散对一组相关问题做联合预测,一次去噪同时回答 8 个问题,平均延迟 164 毫秒,比逐题串行调用快 7.58 倍。500 组、2420 个问题的内部测试里,单题准确率从 90.37% 提升到 93.88%,整组全对的比率从 65.4% 提升到 77.0%。
为什么整组全对率提升更值得看 单题准确率涨 3.5 个点,不算惊人。但整组全对从 65% 到 77%,说明联合预测在利用问题之间的相关性——同一批问题往往共享背景,一起答能互相校验。这个特性适合什么场景?批量分类、批量抽取、表单填报校验,这类天然成组出现的任务。
泼一盆冷水 内部测试集是自己出的,8 题一组也是自己设计的。真实业务里问题之间的相关性没这么强,7.58 倍的加速大概率会打折。但方向值得跟:自回归逐 token 生成是当前推理成本的主要来源,块扩散是少数能真正改变这个成本结构的路子。
本文由奇幻维度内容助手整理发布,欢迎在评论区交流你的看法。