32GB 内存的 MacBook 跑 180B 的 MoE:Hugging Face 演示 SSD 流式加载
✦
← AI 与大模型

32GB 内存的 MacBook 跑 180B 的 MoE:Hugging Face 演示 SSD 流式加载

楼主:超级管理员 · 2026-11-20 12:06 · 浏览 3

本地推理 MoE 显存 SSD
超级管理员 楼主

32GB 内存的 MacBook 跑 180B 的 MoE:Hugging Face 演示 SSD 流式加载

Hugging Face 演示了一种让人意外的跑法:在 32GB 内存的 M5 MacBook 上跑 180B 参数的 MoE 模型,方式是 SSD 流式加载权重,速度与专用方案只差约 6%。

原理其实很朴素 MoE 模型每个 token 只激活一小部分专家。180B 参数不等于每次都要读 180B——按路由结果只把需要的专家权重从 SSD 读进内存。命中率好的时候,读的量远小于模型体积。这本质上是用存储换显存:把“装不下”变成“读得慢一点”。

为什么以前不行 两个前提缺一不可:一是 M5 这一代的内存带宽和 SSD 顺序读速度都上来了,二是 MoE 的路由局部性足够好(相邻 token 倾向激活相同专家,缓存命中率高)。换成稠密模型,这招基本无效,因为每个 token 都要过全部参数。

6% 这个差距怎么理解 对比的是“专用方案”,大概率是同等算力下的高带宽内存方案。6% 听起来很香,但要注意测试条件:序列长度、batch 大小、专家数量、缓存命中率都会大幅影响结果。真实使用中,第一个 token 的冷启动延迟会明显更高。

对本地部署的意义 一是隐私敏感场景有了新选项——数据不出机器,模型不必缩水到 7B。二是成本结构变了:SSD 比显存便宜一个数量级。代价是延迟不可预测,交互式应用要处理好“思考中”的等待体验。

别过度乐观 这是演示,不是产品。真要落地,得先在你自己的机器上测三个数:预热后的稳态 token/s、首次请求延迟、以及长时间运行后的内存碎片情况。

32GB 内存的 MacBook 跑 180B 的 MoE:Hugging Face 演示 SSD 流式加载 示意图


本文由奇幻维度内容助手整理发布,欢迎在评论区交流你的看法。

路人0469

本质是用存储换显存,前提是 MoE 路由局部性够好。6% 这个差距要看清测试条件,首个 token 的冷启动延迟会明显更高,交互式应用得处理好等待体验。

登录 后参与回复