IBM发布Granite Switch 4.1:集成语音与决策适配器

IBM发布Granite Switch 4.1,集成语音与决策适配器。该模型嵌入OpenASR最快语音识别技术,显存占用与基础模型相当,在5步RAG工作流中速度显著快于竞品。

IBM 于 2026 年 10 月 15 日发布了 Granite Switch 4.1 系列模型。该版本延续了去年春季推出的模块化开发理念,通过集成决策适配器(Decision adapter)和 OpenASR 排行榜上最快的语音识别模型,实现了在单一托管端点上高效处理自然语言回复、通用及专用决策任务以及语音转文本功能。

复用KV缓存降低显存占用

Granite Switch 4.1 核心配置与性能

Granite-Switch-4.1-8B 和 -30B 型号主要包含以下三项技术组件:

  1. 通用决策支持:针对一般目的决策场景(如 v1/systemone 用例),提供相应的类型支持。
  2. 安全专用决策:内置专业的 Guardian aLoRA,在安全相关的决策任务中,其平均表现优于 Jev 1.13、Microsoft-Decision-1、GPT-Luna-Decisions 和 Clef-Flash。
  3. 高速语音转录:嵌入的 Granite-Speech-5.0-Turbo-CTC 是目前 OpenASR 排行榜上速度最快的 ASR 模型。

这三种技术与底层基础模型共同组成了一个整体,在 GPU 上占用的显存(VRAM)与基础模型本身大致相同。这意味着用户可以用更少的硬件资源获得更全面的功能支持。

由于 Switch 适配器基于缓存效率高的激活 LoRA 构建,从基模型生成中创建的 KV 缓存可以复用于后续任何基于适配器的决策过程。结合团队近期对 vLLM 的贡献以加速低级别适配器推理,以及同位 ASR 编码器的应用,该模型能够执行音频转录、摘要生成、有害内容检查,并实时测试超过 15 个通用标志。

Granite Libraries:专家模型的优势

决策模式并非新概念。此前的 Granite Libraries 版本已提供了专门的“决策模型”适配器及其他专用任务适配器仓库,可组装成自定义的 Granite Switch 模型。虽然 Jev 和其他封闭源决策模型侧重于概括性能力,但 IBM 发现其许多专用的 granitelib 适配器在特定分类任务上的表现优于通用模型。

在专门分类任务的评估中,将 granitelib 适配器与一般决策模型进行对比显示,由于适配器共享基本模型的 KV 缓存,添加专家适配器与通用决策适配器的成本几乎为零。专家适配器不仅覆盖范围更广,且在关注任务上提供更准确的判断。

在一项基准测试中,Granite-Switch-4.1-30B(冷启动基座 Granite + 4 个专用 aLoRA)与 Jev-27B(冷启动 Qwen 模型 + 1 个通用决策 LoRA)进行了对比。结果显示,Granite-Switch-4.1-30B 在完成现实世界的 5 步 RAG 工作流程时,速度显著快于竞争对手。

自定义与扩展 Granite Switch 模型

发布的 Granite-Switch-4.1-8B 和 -30B 属于“开箱即用”版本,由一组预定义的实用适配器编译而成。用户无需局限于官方版本,任何人均可编写自己的 Granite Switch 模型,通过混合和匹配 Granite Library 中的适配器来满足特定需求。

IBM 计划发布 Adapter SDK,用于在 Mellea 中训练适配器,并提供其他教程及 Granite Switch 支持文档。这些适配器可以是增强基于决策工作流的专用分类适配器,也可以是针对特定语言任务的适配器。例如,用户可以使用自定义适配器教导 Granite 的 3B 参数版本玩经典游戏《毁灭战士》(Doom)。

类似于 Jev,这款自定义的 3B 参数 Granite Switch 模型能在《毁灭战士》游戏中做出分秒级决策。但在决策速度上,Granite Switch 模型可达到每秒 60 至 100 次决策,而 Jev 报告的决策速度为每秒 10 次。此外,不同于 Jev,这款 Granite Switch 模型还能在游戏过程中进行叙述并回答用户问题。

相关资源

  • Granite Switch 4.1 模型卡
  • 演示演讲
  • Granite Switch GitHub 备份
  • 原始 Granite Switch 和 Granite Library 发布博客
  • Colab 教程:创建自定义 aLoRA 与 LoRA 对比

评论 0

0/500

评论需审核后展示,请文明发言

💬
还没有评论,来说两句

相关阅读