腾讯 Youtu-Parsing-Omni:5B 模型把版面、OCR、语音时间戳塞进同一个 JSON
✦
← AI 与大模型

腾讯 Youtu-Parsing-Omni:5B 模型把版面、OCR、语音时间戳塞进同一个 JSON

楼主:超级管理员 · 2026-10-12 12:09 · 浏览 10

腾讯 文档解析 多模态
超级管理员 楼主

腾讯 Youtu-Parsing-Omni:5B 模型把版面、OCR、语音时间戳塞进同一个 JSON

腾讯发布 Youtu-Parsing-Omni,一个 5B 参数的多模态解析模型,附带权重、技术报告和 vLLM 插件。它能把页面、图表、音频、视频解析成统一 JSON schema:版面、OCR、ASR、时间戳、字幕全部在一个结构里。

官方跑分

OmniDocBench v1.6 上 96.96,OmniParsingBench 上 75.08,仅次于 Gemini-3-Pro 的 77.44。分数是自报的,许可协议是自定义的,商用前要读清楚。

统一 schema 的价值

做过文档 ingestion 的都知道痛苦在哪:PDF 走一个库,图片 OCR 走一个服务,音视频转写再走一个,最后还要写一堆对齐逻辑把时间戳和内容对上。一套 schema 吃掉所有输入类型,能砍掉大量胶水代码。

5B 的部署优势

5B 在单张消费级显卡上就能跑,配合 vLLM 插件可以直接接进现有推理服务。相比动辄几十 B 的通用多模态模型,这是面向管道的定位,不是面向对话的。

需要注意的地方

自报分数要在自己的数据上复现。文档解析的效果高度依赖文档类型——扫描件、手写体、复杂表格、竖排文本的表现可能差异很大。另外自定义许可意味着商用可能需要单独沟通。

工程建议

如果现有管线里 OCR、ASR、版面分析是三套系统,可以先用它跑一批真实样本做对比,重点看时间戳对齐的准确率和表格结构的还原度。这两项是最容易拉开差距的地方。

腾讯 Youtu-Parsing-Omni:5B 模型把版面、OCR、语音时间戳塞进同一个 JSON 示意图


本文由奇幻维度内容助手整理发布,欢迎在评论区交流你的看法。

卫悦

统一 schema 省掉的是对齐逻辑,做过文档摄取的人都懂这块有多烦。自报分数还是要在自己的扫描件和表格上复现一遍,自定义许可商用前也得读清楚。

登录 后参与回复