基于 Google Gemma 2 嵌入模型开发的高效语音转文本工具发布
开发者团队将 Google 的 Gemma 2 嵌入模型转化为语音转文本（STT）系统。该方案利用 Apple Silicon 芯片的神经引擎，在基础款 MacBook Air 上实现了每小时音频仅需约 13 秒的处理速度。
目前该工具提供 macOS 版本下载，要求系统为 macOS 14+，适用于 Apple Silicon 设备。软件版本为 v1.6，首次启动时需下载约 715 MB 的模型文件。
技术原理：从多模态嵌入空间直接解码
Gemma 2 是一个多模态嵌入模型，其核心特性是将文本、图像、音频和视频映射到同一个共享向量空间中。这意味着一段语音输入在向量空间中的位置会与其对应的文本表示高度接近。
基于这一特性，开发团队尝试直接从该嵌入空间中“读取”单词，而非依赖传统的端到端语音识别架构。具体工作流程如下：
- 保留原始编码器：Gemma 2 的音频编码器部分保持完全不变，未进行任何修改或重新训练。
- 轻量级阅读器映射：引入一个小型的“阅读器”模块，负责将每个短片段音频的特征向量映射到模型的文本空间中。
- 最近邻匹配：在包含 229,000 个英语单词的词表中，选择与映射后的向量距离最近的单词作为输出结果。
- 后处理优化：通过一个微小的额外模型对输出结果添加标点符号和大写格式。
值得注意的是，只有“阅读器”模块接受了训练，训练过程在 8 块 NVIDIA H100 GPU 上耗时不到两小时。基础的 Gemma 2 模型本身并未针对语音转文本任务进行过专门训练。
性能基准测试数据
在不同硬件配置和对比模型下的实时因子（RTF，即每秒处理的音频时长倍数）表现如下：
| 模型/方案 | 运行后端 | 测试设备 | 速度 (实时因子) |
|---|---|---|---|
| Gemma Embedding Transcription | Neural Engine | M3 MacBook Air (8GB) | 288× (1小时音频耗时12.6秒) |
| IBM Granite Speech 5.0 TurboCTC | GPU (MLX) | M3 MacBook Air (8GB) | ~150× (1小时音频耗时25.7秒) |
| NVIDIA Parakeet TDT 0.6B v3 (FluidAudio) | Neural Engine | M4 Pro | 156× |
| NVIDIA Parakeet TDT 0.6B v3 (FluidAudio) | Neural Engine | M5 Pro | 335× |
| Phonon-2 (Parakeet v3 微调版, FluidAudio) | Neural Engine | M5 Pro | 480× |
注：前两项数据来自 M3 MacBook Air 的实测；后三项数据源自 FluidAudio 在更大、更新机型及不同音频数据集上发布的基准测试结果。上述数据仅作为粗略参考，并非严格同条件排名。
准确率现状与应用场景
目前该方案的词错误率（WER）约为 5%，略高于当前领先语音识别模型的 2–3% 水平。开发团队表示，通过进一步优化“阅读器”的训练有望缩小这一差距，这将是后续迭代的主要目标。
在实际应用层面，用户可通过按住右 Option 键开始说话，松开即可将转录文本输入至任意应用程序中。由于推理过程完全在 Mac 的神经引擎上本地执行，用户的音频数据不会离开设备，保障了隐私安全。
