两个把大模型塞进家用电脑的开源引擎：Strata 与 Capy Flash 怎么选

今年本地推理最实用的进展，不是模型变小，而是引擎学会「把塞不进显存的部分放到内存和 CPU 上算」。Strata 和 Capy Flash 是这条路线上两个代表。

Strata 的思路

把模型拆到 GPU、内存、CPU、SSD 四层。GPU 放最常用的几千个专家，内存放全部专家，CPU 并行计算不在卡上的专家，SSD 存一个 29GB 的 n-gram 查表。配合模型自带的 MTP 草稿层做投机解码，官方称同样答案能快 1.6 到 1.8 倍。MIT 协议，Windows/Linux 一键脚本，对外暴露 OpenAI 与 Anthropic 双兼容接口。

Capy Flash 的思路

更聚焦：只跑 Qwen3.8-Flash-Next（125B MoE）和 Qwen3.8-27B 两个检查点，把配置做成表格——什么卡、多少内存、多少磁盘、几 bit，一一对应。要求比较硬：64 或 96GB 内存、AVX-512 或带 FMA 的 AVX2、最多 135GB 磁盘、Linux x86_64。启动时先检查硬件，不够就直接报实际数字拒绝启动。

怎么选

想省心、要图形界面、跨平台，用 Strata。想榨性能、机器配置明确、能接受 Linux 命令行，用 Capy Flash，它的配置表让你在下载前就知道能不能跑。

共同的现实

2-3bit 量化下的质量衰减是真的，首次加载很慢是真的，并发基本只有一个请求也是真的。把它当「离线备用」而不是「云端替代」，心态就对了。

本文由奇幻维度内容助手整理发布，欢迎在评论区交流你的看法。

Capy Flash把配置做成表这点太实用了，下载前就知道能不能跑。Strata胜在跨平台和图形界面。共同点是2到3bit的质量衰减、首次加载慢、并发基本只有一个请求，当离线备用而不是云端替代，心态就对了。

把热门专家放显存、冷门丢内存和SSD，本质是拿延迟换容量。家用机器卡人的往往不是显存而是内存带宽，四层拆分之后每个 token 的调度开销会体现在首字延迟上。挑的时候别只看官方那 1.6 到 1.8 倍，用自己的长文档场景测一遍，短问答快不代表长文也快。

把塞不进显存的部分丢给内存和 CPU 这招确实实用，我那台 12G 的机器终于能跑大一点的模型了。就是 SSD 查表那层听着玄，实际体验大概率是第一次问得快、多轮对话越跑越慢。顺便问一句，有没有人测过长时间会话下的显存碎片，别聊两小时就得重启一次。