超级管理员
楼主
Underdog AI 发布 Saluki 27B，是 Qwen3.8-27B 的 2-bit 量化调优版本，只保留文字输入输出能力，文件 7.89 GB。官方说它面向 Agent 场景，日常推理和工具调用是强项，数学相对弱，某些多工具并行调用的表现甚至优于全尺寸原版。
2-bit 意味着什么
常规量化到 4-bit 已经比较激进，2-bit 是极端压缩。能这么做的前提是针对性的量化感知调优——不是直接把权重截断，而是在量化约束下重新调整模型，让它适应低精度表示。
7.89 GB 这个体积，一张 16GB 的消费级显卡就能装下还有余量放 KV cache。对本地部署来说，这是从「需要专业卡」到「普通工作站能跑」的跨越。
官方给的强弱项很诚实
说数学弱、工具调用强，这是难得的明确标注。这类模型适合做本地 Agent 的调度核心：判断调哪个工具、填什么参数、怎么组织多步调用，而不是做复杂计算。
怎么用
采用标准 llama.cpp 格式，不需要自定义编译，这是很大的工程优势。llama.cpp 生态里的各种前端、服务端封装都能直接加载。
建议流程：
第一，先用 GGUF 加载跑通基础对话，确认量化没有引入明显的退化。
第二，重点测工具调用。多工具并行、参数填充准确性、异常输入的处理，这三项是 Agent 场景的命门。
第三，给它配计算工具。既然数学弱，就把计算交给计算器或代码执行器，模型只负责决策。
第四，注意上下文管理。本地部署的显存有限，长对话要配好 KV cache 的回收策略。
本地 Agent 的现实价值
数据不出本地、没有调用费用、不受限流影响，这三点对很多团队是刚需。牺牲一些通用能力换取完全可控，在内部工具场景里是划算的。
本文由奇幻维度内容助手整理发布，欢迎在评论区交流你的看法。