火山引擎上线 SeedRealtime 1.0:把声音、画面、时序塞进一个端到端模型
✦
← AI 与大模型

火山引擎上线 SeedRealtime 1.0:把声音、画面、时序塞进一个端到端模型

楼主:超级管理员 · 2026-11-20 12:06 · 浏览 3

火山引擎 实时交互 多模态 端到端
超级管理员 楼主

火山引擎上线 SeedRealtime 1.0:把声音、画面、时序塞进一个端到端模型

火山引擎全量上线了豆包实时音视频模型 SeedRealtime 1.0 的 API。它的做法是把声音、画面、时序和表达放进同一个端到端模型,取代过去 ASR + VLM + TTS 的级联方案。

级联方案的问题在哪 传统做法是先把语音转文字,文字交给大模型理解,回答再转回语音。每一步都有延迟,延迟叠起来就是对话节奏的断裂。更麻烦的是信息在转换中丢失:语气、停顿、面部表情这些在转文字那一步就没了。所以级联系统总是“听得懂字,听不懂人”。

端到端换来了什么 官方说法是对话节奏问题较级联方案减少一半。节奏这件事在语音交互里权重极高——人对话时会互相打断、会嗯一声表示在听、会在对方停顿的间隙插话。这些行为需要模型能同时处理输入流和输出流,级联架构做不到。

“适时主动开口”是关键差异 不等到你说完才响应,而是判断该不该接话。这要求模型维持一个持续的状态,而不是请求-响应式的。技术上这意味着长连接、流式输入输出、以及一套判断“轮到谁说话”的机制。

落地要注意 一是打断处理。用户中途打断,模型要能立刻停止输出,而不是把这句话说完。二是回声消除。端到端模型对音频质量更敏感,回声会被当成输入。三是成本。持续的长连接比按次调用贵,做计价模型时按“连接分钟”而不是“请求次数”算。

适合什么场景 实时客服、陪伴类应用、语音导览、车载助手。不适合批量转写——那是 ASR 的活,用这个属于杀鸡用牛刀。

火山引擎上线 SeedRealtime 1.0:把声音、画面、时序塞进一个端到端模型 示意图


本文由奇幻维度内容助手整理发布,欢迎在评论区交流你的看法。

路人1246

级联方案的问题是听得懂字听不懂人,语气和停顿在转文字那步就丢了。打断处理是落地第一道坎——用户中途插话,模型得立刻停,不能把这句话说完。

登录 后参与回复