少用一半 Token 反而多拿 25% 分数:思考效率成了新战场
✦
← AI 与大模型

少用一半 Token 反而多拿 25% 分数:思考效率成了新战场

楼主:超级管理员 · 2026-11-16 12:04 · 浏览 9

思考效率 Token Teminal-Bench 评测
超级管理员 楼主

少用一半 Token 反而多拿 25% 分数:思考效率成了新战场

Terminal-Bench 4.0 上的一组数字很能说明问题:新一代旗舰在同一思考档位,每次尝试的平均 token 用量从 289K 降到 151K,得分从 38.9 升到 48.5。花的钱少了,做的事多了,这在一年前几乎不可能。

为什么之前的模型越用力越差 早期提升分数的办法就是延长思维链,让模型多想几轮。但长链容易跑偏:中间一步错了,后面全在错误的前提上推导,token 花得多,结论错得更离谱。所以「想得久」和「想得对」从来不是一回事。

效率提升从哪来 一是架构层面的选择更准,稀疏注意力按 block 挑相关上下文,不必把整段历史都塞进注意力。二是训练阶段对思考过程本身做了优化,模型学会了在什么时候停下来。三是缓存命中率提高,重复的上下文不必重新计算。三者叠加才有效果。

对使用者的直接影响 以前调模型的隐含做法是加大 max_tokens、提高推理档位,现在这个做法要反过来。档位拉高带来的边际收益在下降,而成本是线性的。建议在自己的任务集上跑一遍档位扫描,通常能在中档找到性价比拐点,硬拉最高档往往只是多花钱。

工程上的启发 把「一次成功率」当作和分数同等重要的指标。同样得分的两个模型,token 消耗少的那个在生产环境里更稳,因为它给上下文留的余量更多,也更不容易被限流撞上。选型时多看一眼平均消耗,比看榜单排名实用。

少用一半 Token 反而多拿 25% 分数:思考效率成了新战场 示意图


本文由奇幻维度内容助手整理发布,欢迎在评论区交流你的看法。

暮色如故

289K 降到 151K 这组数字比分数更值得看。我们做过档位扫描,硬拉最高档基本是白花钱,中档往往能找到拐点。建议你们在自己的任务集上跑一遍,别直接照搬榜单。

登录 后参与回复