IBM更新Granite Speech语音模型系列

IBM更新Granite Speech语音模型系列,发布2B新模型及两个修订版。新模型支持六语转录与双向翻译,抗噪能力增强,可偏置2000个关键词,覆盖高精度、边缘设备及多说话人场景。

IBM 近日对其 Granite Speech 语音模型系列进行了三项重要更新,旨在覆盖企业级语音处理的完整场景。此次发布包含全新的语音语言模型 Granite-Speech-5.0-2b,以及两个现有模型的修订版本:Granite-Speech-5.0-470m-turboctc 和 Granite-Speech-4.1-2b-plus。这些更新分别针对高精度转录与翻译、边缘设备上的极速转录,以及多说话人录音中的身份归因需求。

Turbo CTC速度提升约1.6倍
Model Status 有什么新消息? 最适合
石榴石的演讲-5.0-2b New 更精准的自动语音识别(ASR),抗噪声和混响能力更强,支持语言 ID 提示,2,000 词关键词偏置,长文本翻译效果更好 高精度的多语言转录和翻译
大岩演讲-5.0-470m-turboctc Updated 多语言,本地标点和大写,以及更强大的噪音和回声 高通量和设备上的转录
大岩演讲-4.1-2b-plus Updated 改进了演讲者归属,时间,关键词偏差和长演讲性能 会议,电话和其他多扬声器录制的录音内容,包括:

岩语音 5.0 2B:更准确,更强大,更可控

Granite-Speech-5.0-2b 作为 Granite-Speech-4.1-2b 的后续产品,保持了相同的参数规模。该模型支持英语、法语、德语、西班牙语、葡萄牙语和日语的语音转录,并实现上述语言与英语之间的双向翻译,此外还支持从英语到意大利语和中文普通话的翻译。其训练数据包括 39 万小时公开音频,以及为日语 ASR、关键词偏置和翻译任务专门构建的合成数据。

相较于 4.1 2B 版本,新模型在以下方面有所提升:

  • 更准确,更强大的英语 ASR:在英语短文基准上更高的准确性,更好地处理噪音,回声和远距离麦克风语音。
  • 语言 ID 提示:在引导多语言转录的提示中命名输入语言。
  • 更好的长篇和对话性翻译:翻译会持续更长时间,使用更自然的语言,而不仅仅是短读句子。
  • 关键词列表最多包含 2,000 个术语:在所有支持的语言中,偏向于将转录和翻译结果指向产品名称、人名以及缩写词。
  • 在请求时标点和大写:在提示符中请求格式化的输出;在我们的测试组中,F1 的大写范围在 89.7 至 99.5 之间。

该模型采用 Apache 2.0 许可证发布,支持 Transformers,vLLM,llama.cpp 和 Apple Silicon 的 mlx-audio.

图 1:在平均英语 WER (5.06%) 中,花).岩语-5.0-2b 在顶级开放重量 ASR 模型中排名第二。低一些就更好了。结果是非官方的,截至 2026 年 10 月 15 日,均为开放的 ASR 排行榜公开的英语简体测试集。

现在可以使用多种语言,更强大,更快速。岩语音 5.0 Turbo CTC

此前于 8 月份推出的 Turbo CTC 是一款仅支持英语的 470M 参数编码器。本次修订保留了原有的模型架构,并增加了用户最要求的三件事:

  • 多语言转录:英语,日语,西班牙语,德语,法语,意大利语和葡萄牙语。
  • 本地标点和大写:成绩单已经准备好阅读,没有单独的标点或正文步骤。
  • 在困难的声学中更强大:明确针对反响音频的训练使得 Turbo CTC 在回声房间和远场录音中更强大。

性能方面,通过编译一个单一的 Conformer 块并在堆中重复使用它的图表,预热时间缩短,Turbo CTC 在 Open ASR 排行榜上的速度提升至 19,870 RTFx,较发布时的约 12,600 RTFx 提升了约 1.6 倍,且精度水平保持不变。

图 2:平均 WER 与在开放的 ASR 排行榜上 RTFx (英语简体,9 个公开测试套件,截至 2026 年 10 月)。较低的 WER 和较高的 RTFx 是更好的;较低的 WER 和较高的 RTFx 是更好的;RTFx 是一个日志尺度。

4.1 2B Plus:更好地知道谁说什么,什么时候说什么

更新的 Granite-Speech-4.1-2b-plus 主要面向会议、支持电话及长时间采访等多说话人录音场景。由于架构、提示格式和 API 未发生变化,该版本可直接替换现有模型。这一修订在以下四个领域进行了改进:

  • 演讲者归属:更准确地标记谁在说话。单词日记化错误率 (WDER) 下降了 7%,而演讲者赋予的 WER (cpWER) 总体下降了 7%。
  • 时间:平均时间转移 (AAS) 减少了一半以上,在标题,搜索和审查中产生更紧密的时间。
  • 长篇演讲性能:长篇试验组的 WER 下降了 24%。
  • 关键字偏见:对偏见的关键字的错误在 20 个术语的关键字列表下降了 45%。
能力 Metric 上一个版本 更新的模型
时间,所有演讲 AAS (平均时间 shift 转移) 210.86 98.54
时间,简短的演讲 AAS (平均时间 shift 转移) 29.27 26.20
关键字偏见 有偏见的词汇 WER,20 个术语列表 11.79 6.48
长篇演讲 WER,长型测试套件 13.53 10.22
发言人的归属 WDER 4.40 4.10
发言人归因的成绩单 cpWER 30.50 28.48

所有指标都是错误率,所以较低更好。图 1:所有指标都是错误率,较低更好。更多详细的结果,请参阅模型卡。

开始吧

根据具体需求,建议如下选择模型:

  • 需要高精度的转录,翻译或关键字偏见?使用花。岩话语-5.0-2b.
  • 需要原始速度还是设备上的转录?在浏览器中使用我们的 WebGPU 流媒体演示。通过 WebGPU 流媒体演示
  • 在会议或多音箱通话中工作?使用花。岩语言 4.1-2b-plus.

这些模型都在 Apache 2.0 许可证下发布,在变形金刚游戏中提供原生支持。完整的评估结果,架构细节,训练数据和使用示例都在每个模型卡上。对于需要额外风险检测的生产部署,我们建议将它们与花。岩卫士配对。

评论 0

0/500

评论需审核后展示,请文明发言

💬
还没有评论,来说两句

相关阅读