Hugging Face 放出 Rumble-2-Flash,一个 5 亿参数的语音识别模型,Apache 2.0 许可,支持 40 多种语言,原生适配 Transformers 和 vLLM。
0.5B 这个尺寸的定位 不是要打赢最大的 ASR 模型,是要能跑在便宜的地方。0.5B 的量级,单张消费级显卡能跑,量化后甚至能在 CPU 上做实时转写。对会议记录、客服质检、视频字幕这类量大的场景,成本比准确率更能决定能不能上。
Apache 2.0 的意义 商用友好,不用法务过一遍。这在 ASR 领域不多见——不少高质量语音模型是研究许可或者带使用限制的。许可宽松会直接带来生态:微调脚本、领域适配、端侧部署都会有人做。
原生适配 vLLM 值得单独提 说明它是按自回归解码的思路做的,能吃到 vLLM 的连续批处理和 PagedAttention。这意味着批量转写的吞吐会比原始实现高一个量级,工程上的差别比模型结构差别更大。
实际用之前该测什么 第一,中英混说。这是国内场景最大的坑,纯英文测试集上看不出问题。第二,专业术语。你们行业的专有名词识别率,决定这东西能不能直接用还是必须微调。第三,长音频的分段策略。VAD 切分做得不好,一句话被切断,后面的上下文全丢。
和 Whisper 的关系 不是替代关系,是多一个选择。Whisper 生态成熟、工具链全;Rumble 胜在许可和推理效率。真要做产品,两个都跑一遍拿自己的音频测,别信榜单。
本文由奇幻维度内容助手整理发布,欢迎在评论区交流你的看法。