Swiss AI 团队于 2026 年 7 月 24 日在 Hugging Face 平台发布了 Apertus 1.5 模型权重，采用 Apache 2.0 许可证。作为对第一代 Apertus 1.0（8B 和 70B 参数版本）的持续预训练升级，Apertus 1.5 引入了图像与音频理解能力、可选的思维模式（Thinking Mode）、四倍扩展的上下文窗口，并显著提升了指令遵循与工具调用性能。项目技术报告已公开详细数据。
此次更新基于大规模多模态数据训练：为 8B 模型增加了 4 万亿文本和多模态 token，为 70B 模型增加了 2 万亿 token，总训练规模分别达到 19T 和 17T。延续 Apertus 系列的开放原则，该模型完全开源，包括权重、数据、价值观声明及完整的训练细节。
核心功能改进
- 原生多模态理解：支持图像、音频与文本混合输入，能够处理文档、图表及照片。语音处理功能目前处于实验阶段。
- 思维模式：模型可在回答前进行推理思考，从而提升复杂逻辑问题的表现。
- 超长上下文：文本窗口扩展至 262,144 个 token，较 Apertus 1.0 增加 4 倍。
- 指令遵循优化：相比上一代，响应更加可预测且准确。
- 工具使用增强：经过专门训练以更好地整合外部工具和 API。
- 价值观对齐：更严格地遵循“Apertus 宪章”，确保模型价值观与原则透明化。
训练流程与技术架构
早期融合的多模态实现
Apertus 1.5 采用早期融合（Early Fusion）方式引入多模态能力，即图像和音频被转换为离散 token，与文本 token 在同一序列中输入模型，而非使用独立的视觉编码器。具体而言，图像通过 Emu3.5 tokenizer 处理（一张 512×512 图像对应 1,024 个 token），音频通过 WavTokenizer 处理（每秒 40 个 token）。由于仅扩展了词表，模型架构保持不变，训练速度与纯文本模型相当。当前模型具备理解图像和音频的能力，但输出仅限文本。
预训练阶段
从 Apertus 1.0 基础出发，预训练分为四个阶段：
- 非配对阶段：结合文本、独立图像和音频，让模型学习新模式。
- 配对阶段：利用图像标题和音频转录与语言对齐。
- 高质量数据注入：增加数学和代码数据比例。
- 长上下文扩展：逐步将窗口从 8k 扩展至 262k token。
超过一半的训练 token 为纯文本，以保留原有的语言能力。文本数据来源包括 FineWeb2-HQ+、FinePDFs 和 Nemotron-CC。所有新数据均符合公开可用、许可合规及 robots.txt 退出可追溯性标准，并在“开放数据透明度”项目中列明。
后训练阶段
后训练包含五个步骤：SFT → 长文本 SFT → RL → DPO → 宪章调整 (SDPO)。
- SFT：在 370 万条文本样本及图像/语音数据上进行监督微调。仅在模型无法解决的提示中添加推理痕迹。工具使用数据限于经过执行验证的轨迹。文本 SFT 组合已在 Hugging Face 发布。
- 长文本 SFT：在完整 262k 窗口下进行微调，以恢复短文本 SFT 可能造成的长文本能力侵蚀。
- RLVR：在约 35 万个涉及数学、代码、指令遵循、多语言和视觉提示的数据集上，结合开启和关闭思维模式进行强化学习。
- DPO：利用评审评分偏好对数据进行直接偏好优化，以提升聊天质量、工具使用和安全性。偏好池和训练对已开源。
- SDPO：通过法官反馈和自我蒸馏，使模型与 Apertus 宪章保持一致。
评估结果与基准测试
除文本评估外，团队还引入了多模态（图像和音频）及思维模式评估。多模态评估通过 MLLM-eval-suite 管道进行，整合了 lmms-eval 和 VLMEvalKit 两个主要框架。此外，还扩展了翻译、多语言能力、安全性和工具使用的基准测试。
尽管仍落后于前沿闭源模型，Apertus 1.5 在编码和指令跟踪方面性能显著提升。其中，8B 版本在指令遵循（IF）和多语言任务上优于同尺寸开源模型。启用思维模式后，模型在 AIME 等高难度推理基准上的表现进一步提升。在多模态性能方面，其表现接近 Gemma 4 12B 及其他当前开源模型，尤其在空间理解和文档/图表理解上具有竞争力。
第三方评估显示，Apertus 1.5 在瑞士法律任务上表现优异，与领先的开源模型一致。在机器翻译基准测试中，Apertus 1.5 8B 的能力与 GPT-OSS-20B 相当，并优于 Claude Haiku 4.5 或 Google Translate。
评估卡：EvalEval 联盟合作
为确保基准测试的透明度和可复现性，Apertus 与 EvalEval 联盟合作，按照 Every Eval Ever (EEE) 模式发布结果。该格式不仅记录分数，还详细记录了评估执行者、模型访问方式、生成设置及指标解释方法。
评估卡将运行数据与基准、模型元数据结合成可解释记录，可通过 Hugging Face 社区 Evals 获取。这一基础设施也被英国人工智能安全研究所用于公开发布评估。由于文本评估基于 lm-evaluation-harness 公共分支运行，EEE 支持专用转换器，允许任何人重新运行评估并与官方数字进行比较。
结构化评估报告的意义延伸至治理领域。EvalEval 已将 Evaluation Cards 映射到《欧盟人工智能法案》第 55 条和 GPAI 行为准则等 AI 治理要求，发现 EEE 架构能涵盖这些框架要求的 60 项评估报告要素中的 56 项。这有助于监管机构、部署者和研究人员更轻松地查找、解读和比较模型证据。
可复现性与资源发布
所有配方、消融实验和数据混合均记录在技术报告中。Hugging Face 集合中包含中间检查点（基础权重、SFT、RLVR、DPO）以及策划的训练数据混合。分享这些数据旨在普及开放模型开发，并允许研究人员分析每个阶段对模型行为的影响。
报告显示，在 SFT 期间混合多模态数据与文本数据有助于改善所有模式的表现。此外，多模态推理轨迹的好处会延续到随后的纯文本强化学习中：从使用多模态推理轨迹训练的 SFT 检查点开始，RL 阶段在数学和推理任务上的优势比从纯文本检查点开始更为持久。
| 模型阶段 | 8B | 70B |
|---|---|---|
| 预训练 (长上下文基础) | apertus-v1.5-8B-base | apertus-v1.5-70B-base |
| 监督微调 (SFT) | apertus-v1.5-8B-SFT | apertus-v1.5-70B-SFT |
| 强化学习 (RLVR) | apertus-v1.5-8B-RLVR | apertus-v1.5-70B-RLVR |
| 偏好调整 (DPO) | apertus-v1.5-8B-DPO | apertus-v1.5-70B-final |
| 宪章调整 (SDPO) | apertus-v1.5-8B-final | – |
| 阶段 | 数据 | 代码/配方 |
|---|---|---|
| 预训练：第一到第二阶段 (非配对，配对) | 源见 apertus-data-transparency；多模态数据处理配方 | Megatron-LM, pretrain-code 启动脚本, apertus-omni-tokenizer, 基准图像/音频 tokenizer |
| 预训练：第三阶段 (冷却) | apertus-data-transparency; NASA, Our World in Data, Smithsonian, Swiss 图像数据集 | pretrain-code 启动脚本 |
| 长上下文扩展 | apertus-data-transparency; LongContextQA 合成任务 | Megatron-LM, pretrain-code 启动脚本 |
| SFT | Apertus-v1.5-SFT-mix (报告中列出的多模态 SFT 混合) | posttraining-data, Megatron-LM (SFT 启动脚本) |
| 长文本 SFT | SFT 混合子集 (报告中列出), plus LongContextQA 任务 | Megatron-LM |
| RL (RLVR) | 报告中列出的混合数据 | verl, verl-recipe |
| DPO | Apertus-v1.5-Preference-Pool (注释完成), Apertus-v1.5-Preference-Data (对) | posttraining, verl |
| SDPO (宪章对齐, 仅 8B) | gretelai/gretel-safety-alignment-en-v1 | self-distillation |
模型可用性与生态集成
Proton Lumo 和 Infomaniak Euria 两款广泛使用的应用程序已集成 Apertus 1.5。开发者可通过 Swisscom、Infomaniak、Phoeniqs 等提供商提供的 API 访问模型，详细信息见“通用可用性指南”。模型运行技术说明位于 Hugging Face 模型卡片及快速入门指南中。
在苏黎世举行的 AI+X 峰会上，团队公布了 Apertus 2.0 路线图：计划采用稀疏/MoE 架构，总参数量约 600B，延长训练日程，并将代理（Agents）、数学和编码列为优先发展方向。
