Apple 推出 Minions：利用 macOS 设备构建分布式虚拟 GPU 云
为解决内部团队在机器学习推理任务中面临的 GPU 资源瓶颈，Apple 研究人员开发并部署了名为“Minions”的系统。该系统被描述为一个动态且分布式的虚拟 GPU 云，通过集成 Apple Silicon GPU 至各类 macOS 设备中，以执行大规模机器学习推理工作负载。
据 Apple 方面透露，在采用 Minions 之前，由于集中式 GPU 资源有限，部分推理任务的排队等待时间超过十个小时。引入 Minions 后，借助本地连接的 macOS 设备，这些任务通常可在几分钟内开始执行，显著提升了计算资源的可用性与效率。
技术架构与硬件支持
Minions 的核心在于将分散的 Mac 硬件整合为统一的计算池。近期发布的 Mac mini 和 Mac Studio 支持通过 Thunderbolt 5 接口使用 RDMA（远程直接内存访问）进行集群连接，使得多台设备的计算能力和内存能够结合，共同支撑单个 AI 工作负载。这一特性允许系统加载那些超出单台机器容量限制的大型模型。
该系统的目标并非单纯运行超大模型，而是通过网络重新分配闲置或可用的 GPU 资源，创建一个容错的分布式推理工作者池，从而让网络内的团队更便捷地访问 GPU 算力。
系统组件与工作流程
Minions 主要由四个核心组件构成：
- Minion Server：提供协调层功能，接收用户请求并将其拆分为子任务进行分发。
- PostgreSQL 元数据存储：维护任务相关的元数据信息。
- Minion Executor：运行于 Mac 的 GPU 上，负责执行具体的推理任务，将结果上传至 S3，并通过 Minion Server 报告执行状态。
- Minion Monitor：监控整个流程，检测如网络中 Mac 设备无响应等故障情况。
数据库中的统计数据会被输入到基于 Grafana 的仪表板中，用于可视化展示。与 Nvidia 集群侧重于吞吐量、延迟及高效 GPU 利用率不同，Apple 的方法论更聚焦于硬件的可用性和整体利用率优化。
