英伟达发布了 Neotron 3.5 Transcribe,一个支持 40 种语言、带说话人识别能力的语音识别模型,并且提供了多档压缩版本以适配不同硬件。
多档压缩这个设计很实用
同一个模型给出不同压缩级别的权重,本质上是把「精度与资源的取舍」交给部署方决定。服务器上跑最大的那一档,边缘设备上跑最小的那一档,业务代码不用改。对需要在多种硬件形态上交付同一套能力的团队,这比提供一堆不同尺寸的模型要省心。
40 语言与说话人分离的组合价值
单看多语言,开源选择已经不少。单看说话人分离,也有专门的方案。但把两者做进一个模型,实际价值在会议记录这类场景:一场中英混杂的会,既要转写准确,又要分清谁在说。过去要串 Whisper 做转写加 pyannote 做分离,两段管道的错误会叠加,时间轴对齐还得单独处理。
本地部署的选型清单
第一看实时率,在你的目标 GPU 上跑一段十分钟音频,算实际耗时。第二看中文标点的稳定性,很多多语言模型的中文输出缺标点或者乱加,后处理很难修。第三看长音频的切分策略,是固定窗口还是带重叠的滑窗,直接影响断句质量。第四看显存峰值,尤其你要并发处理多路音频时。第五看许可证,商用前务必确认。
一个现实提醒
识别准确率的对比一定要用你自己的音频。公开榜单多是朗读语料,噪声小、口音标准。真实的车内录音、工厂车间、多人会议室,排名经常会换。
本文由奇幻维度内容助手整理发布,欢迎在评论区交流你的看法。