Mistral Large 4（代号 Le Chonk）是一款支持文本与图像输入、生成文本输出的多语言混合专家（MoE）模型。该模型拥有约 1T 总参数，其中活跃参数为 49B，并支持高达 100 万 token 的上下文窗口。
目前，Mistral Large 4 提供两种官方权重版本：
- FP8
- NVFP4
此外，Unsloth 和 llama.cpp 团队也发布了 GGUF 格式版本。该模型在 Mistral 生态系统开放权重许可证（基于 MIT 协议，对模型即服务产品设有限制）下发布。
本文重点介绍 Mistral Large 4 的技术架构、基准测试表现以及在网络安全、编码代理和多模态任务中的能力。
核心特性与技术亮点
Mistral Large 4 的核心创新在于结合了大规模专家网络、稀疏注意力机制以及 Pixtral 视觉编码器。其语言模型部分通过 MoE 结构为每个 token 动态选择专家子集，同时利用注意力索引器筛选需要关注的早期 token 位置。这种双重稀疏性设计——前馈网络的选择与上下文位置的选择——显著提升了计算效率。
所有检查点均可在 Mistral Large 4 系列仓库中获取。
网络安全能力
在 Artificial Analysis Cyber Index 测试中，Mistral Large 4 取得了 82% 的成绩。尽管修复漏洞通常涉及复现漏洞行为，但该模型并未因此被拒绝执行相关任务。内部测试显示，即便未经过专门的恶意软件分析训练，该模型在漏洞优先级排序及检测规则编写方面仍表现出色。
该模型主要定位于防御性安全工作。鉴于漏洞研究和事件响应场景常表现为类似攻击的行为，闭源过滤器往往难以处理此类请求。此外，依赖 API 的团队在突发事件中可能面临访问权限中断的风险。开放权重模型将使用策略和部署控制权交还给用户，但在安全性上并未妥协：在 JailbreakBench、StrongREJECT 和 AgentHarm 的网络提示测试中，其平均拒绝率高于其他任何开放权重模型。
对于开发者而言，像 Mistral Large 4 这样的开放权重模型解锁了广泛的下游应用场景。例如，可在代码库、故障日志和恶意软件样本上构建自定义安全系统。利用 TRL 框架，开发者可以从 Mistral Large 4 的输出轨迹中微调更小的模型以修补代码库。由于“复制-然后-补丁”任务具备可验证奖励，非常适合用于强化学习（RL）环境，从而进一步优化小型安全模型。开放权重还允许研究人员直接测量模型的拒绝行为，而非仅依赖提供商的描述。
关于该模型网络安全能力的详细访谈内容，可参阅 Pierre Stocker 的相关采访。
技术架构
Mistral Large 4 的文本解码器包含 72 层，隐藏维度为 6,144，配备 64 个注意力头。其注意力模块融合了多头潜在注意力（MLA）与 DeepSeek 稀疏注意力（DSA）索引器，这一方向也与 GLM 5.3 等模型相似。MLA 保持压缩的 KV 表示，而 DSA 为每个查询选择最多 2,048 个关键位置。
在每个解码块中，RoPE（旋转位置编码）与 NoPE 采用 3:1 的比例分布，即每 4 层中有 3 层使用 RoPE，1 层不使用。模型在各层之间共享 KV 状态。第一层解码器使用密集前馈网络，其余 71 层则采用 MoE 块。软最大值路由器为每个 token 从 128 个专家中选择 4 个，加上一个始终运行的共享专家，每个 token 共有 5 个活跃专家。
在位置编码方面，Mistral 使用了 LeRope，这是一种带有频率学习乘数的 YaRN 缩放 RoPE。
视觉编码器
Mistral Large 4 集成了一参数量为 16 亿的 Pixtral 编码器。Pixtral 包含 30 层，隐藏维度为 2,048，设有 16 个注意力头。它使用 14 × 14 的图像块（patches），并通过空间合并大小为 2 的 patch-merge 投影器进行处理。编码器流程如下图所示。
基准测试结果
截至 2026 年 10 月 29 日，Mistral Large 4 在 Artificial Analysis Intelligence Index 中位列开放权重模型第五名。其在编码、网络安全、多模态理解和代理工作流方面均展现出强劲性能。
编码能力：在 DeepSWE v1.1 上得分 61.7%，在 SWE-Atlas-QnA 上得分 59.4%，在 Terminal-Bench 4 上得分 28.3%。其综合编码代理指数得分为 49.8%，领先于 DeepSeek V4 Pro 0813 和 Qwen3.8 Max。
知识工作：编程能力延伸至知识工作领域，在评估业务工作流的 AutomationBench 上得分 59.9%，在评估长周期专业任务的 AA-Briefcase 中获得 1,393 Elo。
网络安全：这是 Mistral Large 4 的突出优势之一，在真实世界的脆弱性评估和安全竞赛任务中表现优异：
- Artificial Analysis Cyber Index：全球前五模型之一。
- 脆弱性复现与补丁：得分 82%，为该指数中该项测试的最高分。任务要求在开源软件中重现真实漏洞并进行修复，考验调查与补救能力。
- Cybench：解决了来自安全竞赛的 40 个挑战中的 93%，显示出极强的实战安全处理能力。
此外，在 Lakera 的 B3 基准测试中，Mistral Large 4 显示出 93.3% 的攻击抵抗力，特别是在即时注入攻击方面表现稳健。内部测试还表明其在恶意软件分析、漏洞优先级排序和检测规则生成方面具有潜力。
推理支持与部署指南
Mistral Large 4 支持 Transformers、vLLM 和 llama.cpp 推理框架。GGUF 量化版本由 Unsloth 和 llama.cpp 团队提供。用户可选择远程部署至推理端点，或通过无服务器推理提供商使用。
Transformers 实现
Transformers 库提供了 AutoModelForMultimodalLM 和 AutoProcessor 类，用于准备对话和图像输入。模型支持低、中、高三种推理努力程度，默认为“高”。需注意，推理功能不可完全禁用，设置 reasoning_effort="none" 仍将使用“高”模式。
升级 transformers 包：
pip install --upgrade transformers
示例代码：
import os
from transformers import AutoProcessor, AutoModelForMultimodalLM, DistributedConfig
distributed_config = DistributedConfig(
tp_size=int(os.environ["WORLD_SIZE"]),
ep_size=int(os.environ["WORLD_SIZE"]),
)
model_id = "mistralai/Mistral-Large-4-1T-A52B"
processor = AutoProcessor.from_pretrained(model_id)
model = AutoModelForMultimodalLM.from_pretrained(
model_id,
distributed_config=distributed_config,
)
text_messages = [
{
"role": "user",
"content": "Who are you?"
}
]
multimodal_messages = [
{
"role": "user",
"content": [
{
"type": "image",
"image": "https://huggingface.co/datasets/huggingface/cats-image/resolve/main/cats_image.jpeg",
},
{
"type": "text",
"text": "How many cats are in the image?",
},
],
},
]
for messages in [text_messages, multimodal_messages]:
inputs = processor.apply_chat_template(
messages,
add_generation_prompt=True,
tokenize=True,
return_dict=True,
return_tensors="pt",
reasoning_effort="medium",
).to(model.device).to(model.dtype)
input_len = inputs["input_ids"].shape[-1]
outputs = model.generate(**inputs, max_new_tokens=100)
if int(os.environ["RANK"]) == 0:
print(processor.decode(outputs[0][input_len:], skip_special_tokens=False))
保存上述脚本为 script.py，并使用以下命令运行：
torchrun --nproc-per-node 8 script.py
vLLM 支持
vLLM 支持高质量的 NVFP4 Mistral Large 4 检查点，内存占用较小，需 NVIDIA Blackwell GPU。该模型还配备了 DSpark 绘图器以加速推理。启动服务器命令如下：
vllm serve mistralai/Mistral-Large-4-1T-A52B-NVFP4 \
--config-format mistral \
--load-format mistral \
--tensor-parallel-size 8 \
--decode-context-parallel-size 8 \
--enable-expert-parallel \
--dtype bfloat16 \
--max-model-len 131072 \
--max-num-seqs 16 \
--max-num-batched-tokens 2048 \
--gpu-memory-utilization 0.85 \
--enable-prefix-caching \
--enforce-eager \
--mm_processor_cache_gb 0.0
服务器启动后，可通过 curl 进行调用：
curl -s http://127.0.0.1:8000/v1/chat/completions -H 'Content-Type: application/json' \
-d '{"messages":[{"role":"user","content":"What is 17*23?"}],"max_tokens":512}'
Llama.cpp 支持
Llama.cpp 和 Llama App 已支持 Mistral Large 4。
安装 Llama App：
curl -LsSf https://llama.app/install.sh | sh
启动服务器（指定量化版本）：
llama serve -hf ggml-org/Mistral-Large-4-1T-A52B-GGUF:Q2_K
注：提供的量化库源自 FP8 检查点，NVFP4 版本则由官方 NVFP4 仓库转换而来。
服务器启动后，访问 localhost:9931 可使用内置 WebUI 进行聊天，支持添加图像和调整推理参数。也可通过 API 查询：
curl http://localhost:8080/v1/chat/completions \
-H "Content-Type: application/json" \
-d '{
"messages": [
{"role": "system", "content": "You are a helpful assistant."},
{"role": "user", "content": "Write a limerick about python exceptions"}
]
}'
图文推理示例：
curl -s http://127.0.0.1:8080/v1/chat/completions \
-H "Content-Type: application/json" \
-H "Authorization: Bearer <your-key>" \
-d '{
"model": "muse-spark-open",
"messages": [
{
"role": "user",
"content": [
{
"type": "text",
"text": "What is in this image?"
},
{
"type": "image_url",
"image_url": {
"url": "data:image/png;base64,..."
}
}
]
}
]
}'
