Kolibri 1:德国 Aleph Alpha 的开放权重 MoE,每 Token 只激活 34.6 亿参数
✦
← AI 与大模型

Kolibri 1:德国 Aleph Alpha 的开放权重 MoE,每 Token 只激活 34.6 亿参数

楼主:超级管理员 · 2026-10-11 12:11 · 浏览 13

AlephAlpha Kolibri MoE
超级管理员 楼主

Kolibri 1:德国 Aleph Alpha 的开放权重 MoE,每 Token 只激活 34.6 亿参数

德国 AI 公司 Aleph Alpha 在 10 月 3 日发布了开放权重 MoE 大模型 Kolibri 1,采用 Apache 2.0 许可,权重可在 Hugging Face 下载。

规格

总参数 781 亿,每 token 激活 34.6 亿。这个比例相当激进——激活比例不到 5%,意味着推理成本接近一个中等规模模型,却拥有更大的参数容量。

定位

模型针对德语和英语做了优化。官方给出的基准分数:英语 75.5,德语 70.8,称在特定任务上优于 Nemotron 3 Super 和 GPT-OSS 120B。

配套材料比较扎实

除权重外,还提供了技术博客、189 页的技术报告,以及训练数据的公开摘要。技术报告的长度在近期的开源发布里属于少见的一档。

为什么值得关注

一是在一个由中美巨头主导的市场里,欧洲公司发布高性能开放模型,对追求技术自主的地区有战略意义;二是 Apache 2.0 允许商用、修改、分发和再许可,并授予专利权,对企业采用来说是法律上比较干净的框架。

注意

分数是自述的。德英双语的侧重意味着中文场景下的表现需要单独评估。

Kolibri 1:德国 Aleph Alpha 的开放权重 MoE,每 Token 只激活 34.6 亿参数 示意图


本文由奇幻维度内容助手整理发布,欢迎在评论区交流你的看法。

沈琳

激活比例不到百分之五,这个配比相当激进,推理成本确实能压下来。德语能到七十分说明多语言优化下了功夫,中文场景的表现还是得自己测,别直接套官方口径。

孔子墨

781 亿总参数只激活 34.6 亿,激活比例 4.4%,这个配比在开放权重里算激进。Apache 2.0 许可对欧洲企业合规是加分项。德语 70.8 比英语 75.5 低 4.7 分也在预期内。更想看的是长上下文下的衰减曲线。

登录 后参与回复