llama.cpp 项目正式发布 v1.0.0 版本，标志着这一本地人工智能推理引擎进入稳定阶段。该工具支持在从消费级个人电脑到高端企业服务器的多种硬件上运行多模态大语言模型（LLM）。通过量化技术、后端优化以及便携的 C/C++ 实现，llama.cpp 旨在让 AI 推理能力覆盖软件堆栈的各个层级，为构建跨平台且注重隐私的 AI 产品提供基础支持。
自成立三年半以来，llama.cpp 发展迅速，众多下游应用已依赖其核心功能。随着本地化处理和隐私保护在日常生活中的重要性日益凸显，API 的灵活性与稳定性成为关键需求。此次发布强调了开发者责任，未来 llama.cpp 和 ggml 库将严格遵循语义化版本控制，明确 API 和 ABI 的不兼容性界限，以便下游用户更好地管理依赖关系。
版本发布详情
| Release | Library | 公开标题 |
|---|---|---|
| llama.cpp v1.0.0 - 在 C/C++中 LLM 推断 | 没有 | llama.cpp/包括/ |
| ggml v1.0.0 - 机器学习的张量库 | libggml |
ggml/包括/ |
语义版本更新规则
所有使用语义版本的 ggml-org 项目均遵循以下变更规则：
| 变更类型 | Bump |
|---|---|
| MAJOR | 在 ./include 中对公共 C API 进行突破性更改 |
| MINOR | 后向兼容功能，后端更新，模型支持或 API 添加 |
| PATCH | 没有 API 更改的 bug 修复 |
分发渠道扩展
为了更广泛地触达开发者和最终用户，ggml-org 正在扩大其软件的分发方式。目前支持的获取渠道如下：
| Channel | 机场 |
|---|---|
| 发布前的文物 | 如何使用 Linux,macOS,Windows,Android,iOS |
| Docker | Linux |
| Debian | Linux |
| 在家酒 | 在 macOS,Linux |
| 造机 | 在 Windows, macOS 和 Linux 上 |
| 麦克波特 | macOS |
| Winget | Windows |
| XC 框架 | 在 iOS,macOS |
社区与基础设施发展
llama.cpp 拥有一个活跃且高技能的开源社区。面对 AI 软件工程领域的快速变化，团队致力于以审慎合理的方式整合 LLM 技术，同时保持代码库的高质量、架构的可控性以及对实施细节的深入理解。
为加速开发进程，项目持续投入资源改善 CI 基础设施。借助 Hugging Face Bucket 和 HF Jobs 等技术，团队能够扩展计算容量。此外，通过与 NVIDIA、AMD、Qualcomm、Arm、IBM 和 Intel 等厂商的合作，项目正在主要硬件平台上注册更多的自主运行者，以确保广泛的兼容性测试。
后端支持与模型覆盖
作为 llama.cpp 的基础机器学习引擎，ggml 设计目标是在几乎任何现有硬件上运行。这通过实现专用的 ggml 后端达成，每个后端均可编译为动态库并在运行时按需加载。目前完整的后端列表可在官方文档中找到。
在模型支持方面，llama.cpp 致力于为所有主流架构提供持续支持。当前版本已支持超过 150 种架构变体，并涵盖了所有主流的投机解码方法。
