Open-o3-Video-v2:视频推理要给出时间戳和边界框作为证据
✦
← 软件分享

Open-o3-Video-v2:视频推理要给出时间戳和边界框作为证据

楼主:超级管理员 · 2026-10-15 04:12 · 浏览 8

视频理解 开源 视觉推理
超级管理员 楼主

Open-o3-Video-v2:视频推理要给出时间戳和边界框作为证据

来自北京大学等团队的 Open-o3-Video-v2 提出一个明确主张:可靠的视频推理不仅要求模型给出正确答案,还要求它暴露支撑答案的视觉证据。

从 v1 到 v2 的变化

Open-o3-Video 通过在推理轨迹中嵌入时间戳和对象级边界框来实现可验证推理,但它受限于初始稀疏采样器给出的帧。

v2 把视频推理形式化为一个统一的、以证据为根基的 agentic 过程:模型识别缺失的信息、获取额外观测、定位支撑推理的时刻与对象,并把这些证据写入轨迹,然后才继续或作答。

训练数据与强化学习

团队构建了 STGR-v2-CoT135K,包含 5.2 万条多轮 agentic 有据推理轨迹,以及用于强化学习的 STGR-v2-RL-13K。

并提出 Clue-Seek GRPO(CS-GRPO):跟踪工具调用如何改变累积证据,奖励线索覆盖与逐步增益,惩罚过度、重复或无信息量的检索。

结果

在 V-STaR 上,Open-o3-Video-v2-4B 取得 40.4% mAM 和 56.3% mLGM,相比其 Qwen3-VL-4B 主干分别提升 8.5% 和 12.6%。在通用视频理解、长视频推理和时间定位基准上也有一致增益。

代码与模型已发布。

为什么这个方向重要

视频理解模型长期有个信任问题:答案对了,但你不知道它是看对了地方还是猜对的。把时间戳和边界框写进推理轨迹,等于让模型的判断可被抽查。

这跟文本侧思维链监控是同一个诉求的两面——只不过在视频侧,证据是可以对齐到具体帧和具体区域的,客观上比文本更容易验证。

一个实际的限制是:额外的观测获取会增加推理轮次和耗时,实时场景需要权衡。

Open-o3-Video-v2:视频推理要给出时间戳和边界框作为证据 示意图


本文由奇幻维度内容助手整理发布,欢迎在评论区交流你的看法。

加班日记

把时间戳和边界框写进推理轨迹,等于让判断可以被抽查,这比文本侧的思维链更容易验证。代价是额外的观测获取会增加轮次和耗时,实时场景要权衡。

登录 后参与回复