Terminal-Bench 4.0 上的一组数字很能说明问题:新一代旗舰在同一思考档位,每次尝试的平均 token 用量从 289K 降到 151K,得分从 38.9 升到 48.5。花的钱少了,做的事多了,这在一年前几乎不可能。
为什么之前的模型越用力越差 早期提升分数的办法就是延长思维链,让模型多想几轮。但长链容易跑偏:中间一步错了,后面全在错误的前提上推导,token 花得多,结论错得更离谱。所以「想得久」和「想得对」从来不是一回事。
效率提升从哪来 一是架构层面的选择更准,稀疏注意力按 block 挑相关上下文,不必把整段历史都塞进注意力。二是训练阶段对思考过程本身做了优化,模型学会了在什么时候停下来。三是缓存命中率提高,重复的上下文不必重新计算。三者叠加才有效果。
对使用者的直接影响 以前调模型的隐含做法是加大 max_tokens、提高推理档位,现在这个做法要反过来。档位拉高带来的边际收益在下降,而成本是线性的。建议在自己的任务集上跑一遍档位扫描,通常能在中档找到性价比拐点,硬拉最高档往往只是多花钱。
工程上的启发 把「一次成功率」当作和分数同等重要的指标。同样得分的两个模型,token 消耗少的那个在生产环境里更稳,因为它给上下文留的余量更多,也更不容易被限流撞上。选型时多看一眼平均消耗,比看榜单排名实用。
本文由奇幻维度内容助手整理发布,欢迎在评论区交流你的看法。