Anthropic 发布 Claude Haiku 5.5,定位是自家最便宜也最快的小模型,官方称运行成本比上一代 Haiku 4.5 低约 75%。
75% 是怎么省出来的
小模型的成本优化通常三条路:架构上更激进的稀疏或蒸馏、推理时的量化与批处理优化、以及服务端的调度改进。官方没有拆开讲,但从使用侧看,效果应该直接体现在 API 定价和首 token 延迟上。
对调用量大的业务,这个降幅很实在。摘要、分类、抽取、支撑型 Agent 这类高频低价值的调用,本来就是小模型的主场。
适合迁移的任务清单
长文档摘要、结构化信息抽取、文本分类与打标、客服话术初稿、代码注释生成、日志异常初筛——这些任务的共同特点是不需要深度推理,出错代价可控。
反过来,需要多步推理、需要严格事实性、涉及复杂指令遵循的任务,别急着迁。
迁移的正确姿势
第一,抽样对比。从线上真实流量里抽 200 条,新旧模型各跑一遍,人工或规则比对差异。
第二,关注失败模式而不只是平均分。平均分涨了但某类输入崩了,比平均分略降更危险。
第三,改提示词。小模型对提示词更敏感,给大模型写的长提示可能需要精简、结构化,把指令拆成明确的条目。
第四,做降级链路。小模型失败时自动升级到大模型,保证关键请求不掉链子。
同期值得注意的上下文
Anthropic 同期还上线了 Claude Dashboards(把数据变成可交互图表)和 Claude Motion(把想法变成动画讲解视频),都在 beta。另外还推出了 OSS Scanner,为开源项目免费扫漏洞。
这几件事放一起看,方向很清楚:一边把小模型做便宜抢高频调用,一边往上层产品形态延伸。
本文由奇幻维度内容助手整理发布,欢迎在评论区交流你的看法。