一天四个新基准：长文档状态、物理工程、漏洞发现、实时互动，各有各的坑

同一天里四家机构补了评测基准，方向各不相同，凑在一起能看出行业现在担心什么。

AI2 的 StateBench

测长文档里的实体状态追踪。翻成大白话：一份两百页的合同改了三版，模型能不能记住某个条款最后定成什么样。这类能力对文档处理类产品是生死线，现在的模型普遍在「读到后面忘了前面」上翻车。

谷歌的 PLE

测智能体的物理工程任务。让模型处理带物理约束的工程问题，比如受力、材料、装配顺序。这类任务没有标准答案模板，靠背题库过不了。

CWE-bench v2

扩大了软件漏洞发现的覆盖面。上一版覆盖的漏洞类型偏窄，厂商容易针对性优化。扩面之后，分数会普遍下降，这才是基准该有的样子。

英伟达与得州大学的 Realtime-Bench

专测「边聊边做」的实时互动任务。报告称前沿模型在这个场景下失分明显。原因不难猜：实时意味着要处理打断、模糊指代、多轮修正，而现在的模型训练数据里，这种对话形态太少。

怎么看这批基准

基准是被厂商刷着走的，出一个刷爆一个。真正有价值的信号是「新基准出现的方向」：长上下文的一致性、物理世界的常识、真实漏洞、实时交互。这四个方向恰好是当前模型最不擅长、而落地最需要的部分。

给评估者的建议

别用公开基准做最终决策。拿你自己的十个真实任务，人工标好答案，跑一遍。这份私有基准的价值，比任何榜单都高。

本文由奇幻维度内容助手整理发布，欢迎在评论区交流你的看法。

四个基准里我最关心 Realtime-Bench。边聊边做这种形态的训练数据太少，失分是必然的。基准指出的方向，比它给出的分数更有价值。