Edge0 团队近日正式开源了 Edge0-145B 和 Edge0-120B 两款模型，并同步发布了统一推理框架及部署工具。据官方介绍，这是全球首个参数量达到 1450 亿的开源端侧 AI 模型，旨在让个人计算机具备与前沿云端模型相竞争的编码、推理及代理能力。
长期以来，端侧人工智能在模型能力与硬件限制之间面临权衡：大模型对内存、带宽和功耗要求极高，而小模型往往难以胜任复杂任务；将计算转移至云端则涉及费用、数据隐私及网络依赖等问题。Edge0-145B 通过以下四项突破试图解决上述痛点：
| 传统约束 | Edge0-145B 的解决方案 |
|---|---|
| 大型模型难以在个人硬件上运行。 | 145B 参数模型可在兼容笔记本电脑本地运行，峰值内存占用约 29GB，解码速度超过 80 tokens/秒。 |
| 端侧小模型难以处理高复杂度任务。 | 在编码、推理和指令遵循方面的表现可与特定前沿云模型竞争（详见下文基准测试）。 |
| 实用助手需具备执行能力而非仅回答问题。 | 支持规划、编写和运行代码，调试错误，并能对 3D 场景、游戏、硬件程序及 PCB 设计进行视觉检查。 |
| 云端工作流带来持续费用、数据限制及网络依赖。 | 本地推理无需支付云模型 Token 或 API 费用；数据保留在本地，核心功能可离线运行（仍需承担硬件与电力成本）。 |
开发者可复现结果、评估或微调模型，并将其集成至自有产品中。目前模型权重、推理框架及 Edge0 应用程序均已开放获取。
技术解析：如何实现 100B+ 参数模型在个人电脑上的运行
Edge0-145B 笔记本性能指标：内存、速度与功耗
要在个人笔记本电脑上运行 1450 亿参数模型，必须满足内存适配、快速提示处理、高速生成以及低功耗控制等要求，同时还需支持长时任务。Edge0-145B 报告的性能数据如下：
| 关键指标 | Edge0-145B 实测数据 | 实际意义 |
|---|---|---|
| 内存占用 | 峰值 29GB | 可在无服务器的兼容个人笔记本电脑上运行。 |
| 预填充速度 | >1,100 tokens/秒 | 能在生成前高效处理长提示，包括数十页代码。 |
| 解码速度 | >80 tokens/秒 | 生成速度快于人类阅读速度。 |
| 典型功耗 | 约 120W | 在报告设置下保持非阻塞式操作。 |
| 上下文长度 | 128K - 6256K | 在长输入情况下维持基本一致的速度，支持扩展工作负载。 |
作为对比，此前发布的手机端 Edge0-35B 在 iPhone 18 Pro Max 上运行时，峰值内存低于 2.5GB，提供 37+ tokens/秒的速度。Edge0-145B 参数量约为其四倍，但在笔记本平台上实现了 80+ tokens/s 的速度和 28GB 左右的峰值内存。需注意，不同模型与硬件平台的测量标准存在差异。
图示展示了端侧模型规模随时间的演变。该图表涵盖来自 14 个实验室的至少 67 个开放模型（参数≥1B），适用于手机、笔记本和 AI PC。同尺寸的基础、指令和推理变体仅计一次；每行追踪各实验室最大的模型，包括 2025 年 7 月之前的发布。实心点标记新高，空心点标记其他发布。40B 以下坐标轴为对数，以上为线性。Apple 因未公开权重而被排除。来源：供应商公告和模型卡。
端侧模型小型化的历史瓶颈
在 2026 年 9 月之前，受限于内存，大多数端侧模型参数低于 10B。例如，Apple Intelligence 的设备基础模型约为 3B 参数，Google Gemini Nano 则有 1.8B 和 3.25B 版本。即便是 7B 模型，通常也需要约 4GB 内存。
更大模型面临“内存墙”挑战：模型权重不仅占据存储空间，且在生成过程中需频繁读取，与操作系统及其他应用争夺有限的内存带宽。即使经过强力压缩，35B 模型也可能需要约 20GB 内存。此外，计算量、带宽和功耗之间存在相互制约关系，缩小模型虽有助于适配硬件，但往往以牺牲能力为代价。
隐私保护并不能直接弥补能力差距。尽管 Apple Intelligence 保护用户数据，但苹果承认其端侧模型并非为需要通用世界知识的代理应用设计。业界普遍假设认为，端侧智能无法与云端匹敌。
Edge0 底层架构：模型与推理设计的四层优化
Edge0-145B 及其推理引擎通过架构、训练、加载和调度四个层面的设计，显著减少了内存占用和数据流动。
架构层面：采用稀疏专家混合（MoE）中的矩阵共享技术。由 64 名专家组成的小组共享两个大型矩阵，每位专家仅保留少量参数以捕捉差异性，改变了以往每个专家存储完整矩阵的做法。在 145B 总参数中，每次推理步骤仅约有 10B 参数参与计算。
训练层面：从初始阶段即针对本地执行进行优化。部署约束被纳入模型设计初期，避免了先训练云端大模型再将其压缩或剪枝的传统路径。
加载层面：构建 GPU 显存、系统内存和 SSD 访问的流水线，实现读取与计算的重叠，避免连续等待。“热门专家”常驻 GPU 显存；约 40GB 的专家库位于系统内存，按需调入 GPU；约 48GB 的词汇数据存储于 SSD，可随时读取。
调度层面：协同使用 CPU 和 GPU。GPU 负责计算缓存的专家，CPU 并行处理剩余工作。投机解码技术通过一次验证多个候选 token，分摊权重读取成本。这些优化共同支撑了报告的 80+ tokens/秒解码速率。
模型与推理引擎设计的协同作用，使得 100B+ 参数推理在个人计算机上变得可行。来源：内部测试。
这些技术创新推动端侧模型参数量从几十亿级跨越至百亿级以上。
应用场景：从聊天到计算机上的复杂工作流
Edge0-145B 能够完成产生可用结果的复杂任务。其编码和推理能力支持结合规划、工具使用、执行、调试和视觉检查的本地工作流。基准测试确定了其能力边界，演示案例展示了实际应用效果。
编码与推理能力对标前沿云模型
在编码、推理、知识和指令遵循方面，Edge0-145B 表现出与特定前沿云模型的竞争力：
- 编码：在 DeepSWE 1.1 基准测试中得分为 64.6，高于 Qwen3.8-Flash-Next (58.7) 和 DeepSeek-V4-Flash-0731 (54.4)。
- 推理与知识：在 GPQA-Diamond 上得分为 90.4，接近 DeepSeek-V4-Flash-0731 (90.8) 和 Claude-Opus-4.6 (91.3)。
- 指令遵循：在 IFBench 上获得 80.6 分，超过 DeepSeek-V4-Flash-0731 (79.2) 和 Claude-Opus-4.6 (62.5)。
此外，在 Terminal-Bench 2.1 上的得分 86.52 也超过了 Qwen3.8-Flash-Next (83.3)、DeepSeek-V4-Flash-0731 (82.7) 和 Claude (78.2)。在 AA-LCR 测试中，Edge0-145B 得分为 79.3，略高于 Claude 的 78.0。以下表格汇总了多模型在不同基准下的表现：
| Model | DeepSWE 1.1 | Terminal-Bench 2.1 | HLE | GPQA-Diamond | IFBench | AA-LCR |
|---|---|---|---|---|---|---|
| Edge0-145B | 64.6 | 86.52 | 35.4 | 90.4 | 80.6 | 79.3 |
| Edge0-120B | 53.6 | 81.3 | 31.0 | 87.4 | 79.3 | 81.0 |
| Qwen3.8-Flash-Next | 58.7 | 83.3 | 35.9 | 91.7 | 81.3 | 79.1 |
| Qwen3.8-27B | 42.2 | 73.0 | 30.8 | 89.2 | 79.5 | 82.0 |
| DeepSeek-V4-Flash-0731 | 54.4 | 82.7 | 33.8 | 90.8 | 79.2 | 79.7 |
| Flint 40B | — | 54.9 | — | — | 89.2 | — |
| Muse Glimmer | — | 51.7 | 22.0 | 83.5 | 77.0 | 83.3 |
| Gemma 4 | — | 43.4 | 22.7 | 85.7 | 76.0 | 62.0 |
| Claude-Opus-4.6 (Max) | — | 78.2 | 40.0 | 91.3 | 62.5 | 78.0 |
注：分数为百分比，越高越好。破折号表示无公开分数，而非零分。
Edge0、Qwen、DeepSeek 和 Claude 的结果源自 Edge0 的内部评估。Claude-Opus-4.6 无公开的 DeepSWE 1.1 分数。对于 Flint、Muse Glimmer 和 Gemma 4，Terminal-Bench 2.1 和 IFBench 结果来自 Recursive Flint 评估；HLE、GPQA 和 AA-LCR 结果来自 Artificial Analysis。
相较于主流端侧基线模型 Qwen3.8-27B，Edge0-145B 在代理和编码任务上的提升最为显著：Terminal-Bench 提升 18.5%，DeepSWE 提升 53.1%。在 HLE、GPQA 和 IFBench 上的相对提升分别为 14.9%、1.3% 和 1.4%。完整的评估设置、硬件环境和复现说明将随技术报告一同发布。
更小内存足迹下的竞争力
Edge0-145B 在六大基准测试中的平均得分为 72.8，实测峰值内存为 29GB。相比之下，Qwen3.8-Flash-Next 的平均得分为 71.7，但其标准 4-bit 部署估计内存占用约为 70GB。这意味着 Edge0-145B 在提供相当或更高能力的同时，内存占用仅为基线估计值的约 40%，使其能够在 48GB 内存的笔记本电脑上本地使用。
| Model | 六大基准平均分 | 内存足迹（实测或估计） |
|---|---|---|
| Edge0-145B | 72.8 | 29GB |
| Edge0-120B | 68.9 | 29GB |
| Qwen3.8-27B | 66.1 | 约 18GB* |
| Qwen3.8-Flash-Next | 71.7 | 约 70GB* |
| DeepSeek-V4-Flash-0731 | 70.1 | 约 87GB* |
平均分涵盖 DeepSWE 1.1、Terminal-Bench 2.1、HLE、GPQA-Diamond、IFBench 和 AA-LCR。Edge0 内存数据为内部实测峰值。带星号的基线数据为标准 4-bit 部署的估计值，尚待实测。Claude 因仅限云端且无 DeepSWE 分数而被排除。
[图：质量与峰值内存的关系，标出了 48GB 笔记本和 64GB 工作站的容量界限。内存越低、分数越高越好；纵轴不从零开始。]
本地代理：规划、编码、运行与工作自查
单个自然语言请求即可启动完整的本地工作流。Edge0-145B 分解需求、规划步骤、编写代码并调用工具执行。
