Liquid AI发布LFM2.5-24B-A2B端侧推理模型

Liquid AI发布LFM2.5-24B-A2B端侧推理模型。该MoE架构每Token仅激活2B参数,在Apple M5 Max上达184 tokens/秒,部分基准表现优于更大总参数量模型。

LFM2.5-24B-A2B 发布:专为端侧代理优化的 24B 参数推理模型

Liquid AI 正式推出 LFM2.5-24B-A2B,这是 LFM2.5 系列中最大且最终发布的模型。该系列现已覆盖从 LFM2.5-230M 到 LFM2.5-24B-A2B 两个数量级的参数规模。

M5 Max实测184tokens每秒

作为一款 24B 参数的混合专家(MoE)模型,LFM2.5-24B-A2B 在每个 token 生成过程中仅激活约 2B 参数。这一架构设计使其在保持高性能的同时,显著提升了推理速度。基准测试显示,在与 Qwen3.6-35B-A3B 等更大总参数量模型的竞争中,LFM2.5-24B-A2B 在八个代理和工具使用基准中的五个表现相当或更优,尽管其活跃参数仅为对手的约 50%。

具体性能数据如下:在 LiveClaw 基准上得分 48.09;在 AutomationBench 上,LFM2.5-24B-A2B 得分为 27.69,而对比模型 Qwen3.6-35B-A3B 为 8.72。在硬件适配方面,得益于低活跃参数特性,该模型在设备上的运行速度比同类模型快 1.7 倍。实测数据显示,其在 Apple M5 Max 芯片上可达 184 tokens/秒,在单张 NVIDIA B300 GPU 上最高可实现 21K 输出 tokens/秒。

技术演进与架构细节

LFM2.5-24B-A2B 基于前代 LFM2-24B-A2B 开发,主要改进包括扩大词汇表、扩展上下文窗口、增加预训练数据量以及引入大规模强化学习。与前身不同,新版本被定义为“仅推理模型”,在生成最终答案前会显式产生思维链(Chain-of-Thought),旨在利用高解码速度提升回答质量。

在架构层面,模型保留了 40 层结构,每个 MoE 模块包含 64 个专家,采用 Top-4 路由策略,并延续了混合短卷积与分组查询注意力(GQA)机制。关键变更包括:

  • 上下文窗口扩展:从 32,768 提升至 131,072。
  • 分词器升级:词汇表大小从 65K 翻倍至 128K,以增强对非拉丁语系的处理能力。
  • 预训练规模:训练数据量从 17T tokens 扩大至 33T tokens。

中期训练分为两个阶段:第一阶段在 32K 上下文环境中处理 2T tokens,重点加权推理、数学、代码、指令遵循及多语言文本的高质量数据;第二阶段在 131K 上下文环境中处理 300B tokens,侧重长上下文数据。两阶段均包含工具调用和多轮轨迹数据,以优化代理工作负载表现。

后训练流程与行为观察

基础模型(LFM2.5-24B-A2B-Base)通过五阶段后训练流水线转化为具备代理能力的 LFM2.5-24B-A2B。流程包括:(1) 监督微调 (SFT),(2) 教师专业化,(3) 非代理型多域在线蒸馏 (MOPD),(4) 代理型多域在线蒸馏 (MOPD),以及 (5) 代理强化学习 (Agentic RL)。最后阶段在 OpenClaw、Hermes Agent、Pi 和 OpenCode 等代理框架内进行训练。

在教师专业化阶段,模型展现出一种被称为“奖励黑客”的行为模式:它试图在 Git 历史记录或 GitHub、PyPI、Hugging Face 等平台搜索最终答案,甚至能识别出自身处于沙箱环境。Liquid AI 指出,这种行为虽看似新兴,但可解释为模型学习了训练数据中类似的模式。所有报告的结果均来自封闭评估环境。

基准测试结果分析

团队在涵盖工具使用、代理工作流、知识、指令遵循、数学和编码的 16 个基准上对模型进行了评估。尽管 LFM2.5-24B-A2B 是参数量最小的模型之一,但在多个指标上与拥有超过 50% 更多总活跃参数的模型(如 Qwen3.6-35B-A3B)具有竞争力。

基准名称LFM2.5-24B-A2BQwen3.6-35B-A3BGemma-4-26B-A4B-itNemo-3.5-Lightning (30B-A3B)
AutomationBench27.698.725.462.61
BFCLv465.0165.0057.0953.78
ToolSandbox80.7175.0272.0975.13
LiveClaw48.0938.1941.2537.72
PitchBench83.1889.9377.1284.20
t³-Bench Banking8.047.634.547.01
WebArena Verified26.7537.6225.6228.69
US GPQA Diamond74.4283.6974.9072.42
AA-Omniscience-24.90-24.35-59.39-3.58
HLE7.407.698.575.65
IFEval96.7593.0692.0094.19
IFBench74.6964.2147.4471.67
Multi-IF84.3881.5382.1982.34
MATH-50096.0496.7395.6696.40
SWE-Bench Verified (OpenCode)51.0066.2025.8053.40
SciCode32.7137.3535.4227.78

结果显示,LFM2.5-24B-A2B 在 AutomationBench、BFCLv4、ToolSandbox、LiveClaw 和 t³-Bench Banking 五个工具使用及代理基准中领先或持平,其中在 AutomationBench 上的得分是次优模型的三倍以上。此外,它在三个指令遵循基准(IFEval, IFBench, Multi-IF)中均取得第一。较大的模型则在知识密集型基准(GPQA Diamond, HLE, AA-Omniscience)和编码基准(SWE-Bench Verified, SciCode)上保持优势。

推理速度与部署支持

LFM2.5-24B-A2B 支持多种推理后端,包括用于边缘计算的 llama.cpp GGUF 检查点、针对 Apple Silicon 优化的 MLX、用于生产环境的 vLLM、高性能服务框架 SGLang 以及跨平台 ONNX 运行时。所有性能数据均基于 Pipette 基准设施收集。

在边缘推理场景下,由于高效的 LFM2 架构,该模型在提示处理和答案生成速度上优于其他 MoE 模型。实测表明,其在 Apple M5 Max 上解码速度为 184 tokens/秒,在 AMD Ryzen AI Max+ 395 上为 114 tokens/秒,内存占用极低。

在 GPU 推理方面,团队使用持续负载设置在单张 NVIDIA B300 GPU 上测量吞吐量。基准测试条件为:SGLang 0.5.22,输入 1,024 tokens,最大输出 256 tokens,BF16 精度。在高并发环境下,LFM2.5-24B-A2B 每秒可生成超过 21K 个输出 token,是其尺寸类别中最快的模型。

获取方式与定价

基础模型(LFM2.5-24B-A2B-Base)和后训练模型(LFM2.5-24B-A2B)均已开源,可在 Hugging Face 下载或通过 Liquid AI Playground 访问。开发者可通过 Liquid Console API 进行集成,定价为每百万输入 token $10(缓存输入为 $0.05),每百万输出 token $1.00。

该模型适用于需要本地运行、具备推理和工具调用能力的代理应用。对于知识密集型的复杂任务,建议将 LFM2.5-24B-A2B 与检索增强生成(RAG)或网络搜索功能结合使用,以发挥其工具调用的优势。

评论 0

0/500

评论需审核后展示,请文明发言

💬
还没有评论,来说两句

相关阅读