NVIDIA Nemotron 3.5 Transcribe：支持多语言转录、说话人分离及音频问答的开放模型
针对语音转文字场景中常见的说话人归属不清、跨语言翻译需求以及专业术语识别困难等痛点，NVIDIA 发布了 Nemotron 3.5 Transcribe。这是一个开源的多任务语音模型，集成了转录、说话人分离（Diarization）、翻译和音频问答功能。目前，该模型已在 Hugging Face 和 ModelScope 平台上线。
Nemotron 3.5 Transcribe 支持 40 种语言的翻译，可将其中 31 种语言译为英语或从英语译出，并能在 13 种语言中进行说话人归属标记。模型能够处理长达一小时的录音，并支持最多八个说话人的区分。开发者可以通过自然语言提示来指导输出格式，调整对特定领域词汇和口音的处理方式。
在性能基准测试方面，该模型在“Hugging Face Open ASR English Leaderboard”上位列开源模型第一，并在 Artificial Analysis 的准确率与激活参数帕累托前沿占据优势位置。在说话人分离任务中，它在 David AI 的 21 种语言排行榜上实现了最低的 DER（Diarization Error Rate），并在 VoiceArena 的 14 系统对比中排名第一。即将推出的量化版本将允许模型在单个 NVIDIA GPU 上运行。
为了支持模型的定制化应用，NVIDIA 同步发布了 Granary v2 多语言数据集及可复用的数据策划管道，配合 NeMo Speech 微调工具使用。Granary v2 数据可在 Hugging Face 和 ModelScope 获取。在一项医学领域的案例研究中，通过微调，该模型相比最佳提示策略下的保留说话人词错误率（WER）降低了 45.8%。
同一个检查点可根据指令生成不同形式的输出，例如：
- 记录录音内容并为每位发言人添加标签。
- 将音频翻译成英语。
- 总结会议中做出的决定。
对于医疗等专业领域，建议在训练前利用上下文信息优化术语识别。例如，针对包含 HbA1c 等术语的医疗讨论，可通过提示要求模型保持标准医疗拼写，仅在音频支持时采用特定术语，并以传统书面形式呈现数字。
模型卡提供了包括音频问题推理在内的预设提示，以及完整的提示指南和按语言划分的任务矩阵。需要注意的是，语言支持因任务而异，且音频问答功能目前仅支持英语。此外，模型也支持字级时间戳功能。
在实时应用方面，其配套的实时语音和视频平台支持应用程序中的实时对话，并在课堂演示中使用了字级时间戳技术。
基准测试结果
在开源权重模型中，Nemotron 3.5 Transcribe 在转录准确性及说话人评估指标上均处于领先地位。
Hugging Face Open ASR 排行榜
该排行榜通过三个轨道测量公共测试集的词错误率（WER）：
- 英语：在开源模型中排名第一，平均 WER 为 5.33%。
- 多语言：在七种语言上的平均 WER 为 4.62%，为比较中最低。
- 长音频：平均 WER 为 10.98%，同样为该比较中的最低值。
图 1：Nemotron 3.5 Transcribe 在 Hugging Face 英语 Open ASR 排行榜开源模型中排名第一，平均 WER 为 5.33%（不含 API 模型）。较低的 WER 表示更少的转录错误。
Artificial Analysis 语音转文字排行榜
Artificial Analysis 依据其词错误率指标 AA-WER 独立排名。Nemotron 3.5 Transcribe 以 2.8% 的 AA-WER 在开源权重模型中并列第一，但其激活参数仅约 40 亿，而并列第一的其他模型激活参数高达 240 亿。在 AA-AgentTalk（AA-WER 指数中占比 50% 的保留语音代理测试集）上，Transcribe 的 WER 为 1.8%，优于次优开源模型的 2.3%。
该模型结合了语音编码器与混合 Mamba–Transformer 专家混合语言模型，每生成一个 token 仅激活约 40 亿参数（总参数为 300 亿）。这使得它位于 Artificial Analysis 开源权重模型准确率与激活参数的帕累托前沿，在全模型图表中排名领先于多个广泛使用的专有语音 API。
图 2：Nemotron 3.5 Transcribe 达到 2.80% 的 AA-WER，激活参数约为 4B，展现了极高的效率。
跨语言说话人归属与重叠语音处理
Transcribe 能够在生成过程中直接标记每个转换，而非依赖后续步骤连接说话人与单词。
David AI DAI-ASR-I18N 排行榜
在组合转录和说话人归属轨道上，Transcribe 在评估的开源权重模型中排名第一，总体排名第二。在 21 种语言的日记化轨道上，它在 14 个测试系统中拥有最低的日记化错误率（DER），略高于 NVIDIA 专用的 Nemotron 3 Diarization 模型。
图 3：在 David AI 多语言日记化排行榜上，NVIDIA 模型占据前两名。Nemotron 3.5 Transcribe 在 21 种语言中的整体 DER 为 18.26%，Nemotron 3 Diarization 为 18.38%。DER 越低越好。
VoiceArena 日记工作台
在 VoiceArena 的英语全会比较中，Transcribe 在 14 个系统中实现了最低的连接最小置换词错误率（cpWER），在面对面和在线设置中均排名第一。其删除最少，参考词的删除率为 8.32%，而中位数约为 31%。
图 4：在 VoiceArena 14 系统比较中，Nemotron 3.5 Transcribe 以 32.4% 的 cpWER 领先，其次是 NVIDIA Multitalker Parakeet 与 Nemotron 3 Diarization 组合的 34.2%。Benchmark v1 涵盖英语全会、重叠语音及 288 位讲者。匹配扬声器标签后，cpWER 会计单词错误；越低越好。
其他评估显示，Eye AI 的 Converse-STT 评估将其列为顶级开源转录模型。印度语音排行榜 Josh Talks 也报道了其在印度语言中的表现。
部署与硬件支持
未来的量化版本将支持从边缘设备到数据中心的部署，包括 Jetson AGX Thor、DGX Spark 以及 Blackwell 数据中心 GPU。在使用即将推出的量化版本对一台 NVIDIA RTX PRO 6000 Blackwell Server Edition GPU 进行 NVFP4 精度基准测试时，Transcribe 在 30 秒的高并发时间内处理了 100 小时的音频。
目前，已发布的检查点可通过 vLLM 服务。随着量化版本的推出，NeMo-Speech.cpp 也将很快支持本地部署。需注意，该转录模型专为录制音频设计，不支持直播流。
Granary v2 数据管道
提示式语音模型需要具有明确格式化目标的训练数据。Granary v2 是 Hugging Face 和 ModelScope 上 Nemotron 演讲收藏的一部分，基于 NVIDIA NeMo Curator 构建。其可重复使用的管道准备了用于 Nemotron 3.5 Transcribe 训练的多语言语音数据，生成了对齐的转录变体、任务标签和可检查的质量元数据。公开声明的数据涵盖了 48 种语言和 16 种源体的 463,062 个小时。这些数字描述了数据集的发布规模，而非 Transcribe 的全部训练组合或采样权重。
Granary v2 为每个录音生成了三种转录表格形式，开发者可通过提示向 Transcribe 请求相同的书面和清洁风格。除了转录外，管道还能产生短音频字幕、代码交换借词恢复、基于语音的问答对、上下文 ASR 偏见术语以及自动质量评分的翻译。
| 培训目标 | 示例的成绩单 |
|---|---|
| 文字正常化，字面上 | 我付了 25 欧元。 |
| 反向文本规范化，有失流性 | 我付了 25 欧元。 |
| 反向文本规范化，没有失调 | 我付了 25 欧元。 |
表 1：Granary v2 训练目标对应的相同发言示例。
数据策划管道分为四个可重复使用的阶段：
- 1. 音频准备（元数据）：分割原始或长形式音频，跟踪整个录音中的扬声器，并标记声学事件和语言。由于 Granary v2 源已被细分，此版本跳过了该阶段。
- 2. 转录（ASR）：将每种语言路由至初级和恢复 ASR 模型，当初级模型未通过幻觉检查时退回。人类参考转录有助于保存可信拼写，同时增加口语形式和失流性。
- 3. 任务标签生成（文本）：导出转录变体，然后检查字符率、幻觉模式以及模型或人类参考协议。只有被接受的记录才能获得上下文 ASR 术语和翻译。
- 4. 高保真（HiFi）：过滤噪音、剪辑或包含多个扬声器的段落，保留较小的高质量录音集，用于超出 ASR 范围的用途。例如，对于 VoxPopuli 数据集，它在 22 种欧洲语言中将 35 万小时减少到 11 万小时。
图 6：Granary v2 数据策划管道示意图，展示了一个约 12 分钟的样本从原始音频经过元数据、ASR 和文本阶段转化为训练示例的过程。
开发者可以使用 Ray 和 NVIDIA Dynamo 后端运行 NeMo Curator 管道，在自己的录音、授权的公共语料库或 Granary v2 公开声明上构建。这些声明包括三种转录形式。
