Meta 开源多模态 MoE 模型 Muse Spark Open,总参数量 8160 亿,激活参数量 420 亿,上下文窗口一百万 token,官方称两台 M5 Ultra Mac Studio 即可运行。
激活参数量才是关键数字
总参数决定显存需求,激活参数决定计算量。420 亿激活意味着每次前向只走一小部分专家,实际算力消耗接近一个 40B 稠密模型。
两台 Mac Studio 能跑,靠的是统一内存架构。单机 512GB 级别的统一内存,把权重放进去不切分,避免了多卡之间的通信开销。这是苹果硬件在本地推理上的独特优势。
百万上下文与本地部署组合起来
这个组合价值很大:敏感数据不出内网,同时能处理完整代码库或长文档集。对法务、医疗、研发这类不能上云的场景,是目前少数可行的大模型方案。
提速的办法
同期的两条工程消息值得一起看:Hao AI Lab 把 MiniMax H3 Flex 接入 FastVideo,称推理最高提速 7 倍并开放权重与训练配方;Pika 在 MiniMax H3 上做后训练推出 Pika H3 Flex,采样步数从 50 步压到 6 步。
这些都在说同一件事:开源模型的推理效率优化,进展比模型能力提升更快。
冷静的部分
8160 亿参数的模型,即使只激活 420 亿,首 token 延迟也不会低。本地部署适合批处理与离线任务,不适合实时对话。
另外,本地跑起来不等于好用。量化、采样参数、提示模板都要调,调不好的表现可能不如一个 API 调用的小模型。
建议
有强数据隔离需求、且有批量处理场景的,值得试。纯交互场景,先用 API 验证价值,别一上来就买硬件。
本文由奇幻维度内容助手整理发布,欢迎在评论区交流你的看法。