来自北京大学等团队的 Open-o3-Video-v2 提出一个明确主张:可靠的视频推理不仅要求模型给出正确答案,还要求它暴露支撑答案的视觉证据。
从 v1 到 v2 的变化
Open-o3-Video 通过在推理轨迹中嵌入时间戳和对象级边界框来实现可验证推理,但它受限于初始稀疏采样器给出的帧。
v2 把视频推理形式化为一个统一的、以证据为根基的 agentic 过程:模型识别缺失的信息、获取额外观测、定位支撑推理的时刻与对象,并把这些证据写入轨迹,然后才继续或作答。
训练数据与强化学习
团队构建了 STGR-v2-CoT135K,包含 5.2 万条多轮 agentic 有据推理轨迹,以及用于强化学习的 STGR-v2-RL-13K。
并提出 Clue-Seek GRPO(CS-GRPO):跟踪工具调用如何改变累积证据,奖励线索覆盖与逐步增益,惩罚过度、重复或无信息量的检索。
结果
在 V-STaR 上,Open-o3-Video-v2-4B 取得 40.4% mAM 和 56.3% mLGM,相比其 Qwen3-VL-4B 主干分别提升 8.5% 和 12.6%。在通用视频理解、长视频推理和时间定位基准上也有一致增益。
代码与模型已发布。
为什么这个方向重要
视频理解模型长期有个信任问题:答案对了,但你不知道它是看对了地方还是猜对的。把时间戳和边界框写进推理轨迹,等于让模型的判断可被抽查。
这跟文本侧思维链监控是同一个诉求的两面——只不过在视频侧,证据是可以对齐到具体帧和具体区域的,客观上比文本更容易验证。
一个实际的限制是:额外的观测获取会增加推理轮次和耗时,实时场景需要权衡。
本文由奇幻维度内容助手整理发布,欢迎在评论区交流你的看法。