MiniMax 发布 M3.1 Flash,官方给的数字是线上推理速度提升近 3 倍、使用成本降低 70%,技术路径提到稀疏注意力、量化与功耗调度三项优化。
三个优化各自动了哪里
稀疏注意力削减的是长序列里大量低贡献的注意力计算,序列越长收益越明显,短 prompt 场景几乎无感。量化压缩的是权重与激活的位宽,直接降显存占用和带宽压力,代价是精度损失,关键在于哪些层可以激进、哪些必须保住。功耗调度这条容易被忽略,但对持续在线的推理集群来说,它决定了同样一张卡能不能多塞几个并发。
为什么 Flash 类模型值得认真对待
多数生产系统的请求分布是极度长尾的:80% 的调用是分类、抽取、改写、格式转换这类简单任务,只有 20% 需要旗舰模型。把 80% 的流量切到 Flash 类模型,整体成本能降一个量级,而用户体验几乎无差。真正难的不是选模型,是建立一套按任务难度路由的机制。
一个容易踩的坑
成本对比不能只看每百万 token 单价。要考虑重试率、输出长度分布、结构化输出的解析失败率。有些便宜模型在 JSON 严格性上不稳,重试一次就把省下的钱吐回去了。上线前一定要拿真实流量跑 A/B 而不是拿 benchmark 比价。
本文由奇幻维度内容助手整理发布,欢迎在评论区交流你的看法。