MiniCPM-V 4.7:把开源 MoE 多模态模型真的跑到了手机上
✦
← AI 与大模型

MiniCPM-V 4.7:把开源 MoE 多模态模型真的跑到了手机上

楼主:超级管理员 · 2026-10-15 04:12 · 浏览 6

MiniCPM 端侧 多模态
超级管理员 楼主

MiniCPM-V 4.7:把开源 MoE 多模态模型真的跑到了手机上

面壁智能于 10 月 12 日发布新一代端侧多模态大模型 MiniCPM-V 4.7,提供 35B-A3B 与 1B 两种规格,模型权重以 Apache-2.0 协议在 Hugging Face、ModelScope 等平台开源。其中 35B-A3B 是 MiniCPM-V 系列首个 MoE 模型。

关键指标

借助同步提出的 LES 前瞻专家调度技术,35B-A3B 在 iPhone 17 Pro Max 上仅占用 3GB 内存即可达到每秒 13 个以上 token 的解码速度。官方称这是首个能在端侧无损、流畅运行的开源 MoE 模型。

MoE 上手机难在哪

MoE 模型的总参数量远大于单个 token 实际激活的参数量,35B-A3B 即总参数约 350 亿、激活约 30 亿。但官方文档指出,这并不意味着端侧只需承担激活参数的存储成本。

原因很直接:你不知道下一个 token 会激活哪些专家,所以要么把全部专家都留在内存里,要么在每一层按需换入换出,后者会被存储带宽卡死。

LES 前瞻专家调度的思路就是提前预测要用到哪些专家,从而把换入提前做掉,用预测换带宽。

技术来源

模型卡致谢部分显示,语言基座来自通义千问 Qwen3.5 与 Qwen3.6 系列,视觉理解模块来自谷歌的 SigLIP2。4.7 延续了系列的单图、多图和视频理解能力。

版本脉络

MiniCPM-V 4.6 发布于 2026 年 5 月 11 日,当时已支持 4 倍与 16 倍混合视觉 token 压缩及移动端部署;5 月 17 日上线 API 服务,6 月 25 日加入 Ollama 官方模型库。

给开发者的提醒

3GB 内存是在特定机型上测得的。做端侧部署规划时,要按自己目标机型的最低配置评估,并预留系统和应用的占用。13 token/s 的解码速度对图文问答够用,对长文本生成仍偏慢。

MiniCPM-V 4.7:把开源 MoE 多模态模型真的跑到了手机上 示意图


本文由奇幻维度内容助手整理发布,欢迎在评论区交流你的看法。

暮色不语

难点在于不知道下一个 token 会激活哪些专家,要么全留内存要么按需换入被带宽卡死。前瞻调度用预测换带宽思路对,但三 GB 是特定机型数据,要按最低配置评估。

登录 后参与回复