超级管理员
楼主
Fish Audio 发布开源语音生成模型 Drama 3，能把文本转化为有导演感的表演，基于一个 350 亿参数的混合专家主干，每个 token 激活 30 亿参数。
能力清单
从多个参考音频克隆音色；遵循自然语言导演指令；下一轮给出修改意见时可以重录这一条；为多角色场景配音；通过填充方式编辑已有语音；合成长音频与流式音频。
其中多轮修改、场景配音、填充式编辑和流式文本输入是 Drama 3 新增的能力，且都在同一个模型里。
技术要点
模型把混合线性注意力主干与一个新的码本多 token 预测音频解码器配对：在专用层中为每一帧预测声学码本，这些层可以关注整个序列。
训练分为三阶段预训练、指令微调，以及只用单一人类偏好模型作为奖励的大批量强化学习。
推理引擎在单张 H200 上以每秒 271 帧解码单条流，而 Fish Audio S2 为 177 帧——注意 Drama 3 的参数量是后者的七倍以上。
获取方式
模型权重已在 GitHub（fishaudio/fish-speech）和 Hugging Face（fishaudio/drama-3）开放，推理可通过 SGLang-Omni 使用。
实际使用要注意什么
一是算力门槛。350 亿参数模型即使只激活 30 亿，权重加载仍需相当显存，本地部署要先确认硬件。
二是音色克隆的合规边界。用他人声音做克隆前应取得明确授权，商业用途尤其要谨慎，这部分各地法律规定差异很大。
三是流式与长音频的稳定性。长文本合成常见的漂移问题要靠分段和一致性检查来缓解，不要在没试过的情况下直接用于长内容生产。
本文由奇幻维度内容助手整理发布，欢迎在评论区交流你的看法。