家庭实验室用RTX 3090本地运行Kimi K3模型

Homelab玩家用双RTX 3090本地跑通2.8万亿参数Kimi K3。通过RAM驱动器优化,生成速度达3.11 tokens/s,较纯Optane方案提升约41%,验证了混合专家模型在消费级硬件上的可行性。

一位家庭实验室(Homelab)爱好者近日在 Reddit 发布了其第二代 Optane AI 构建方案的后续测试报告。该方案通过引入两张 NVIDIA RTX 3090 显卡,成功在本地运行拥有 2.8 万亿参数的 Moonshot Kimi K3 模型,实现了每秒 3.11 个代币(tokens/s)的生成速度。

生成速度提升约41%

性能提升:RAM 驱动器显著优化推理效率

相较于第一代仅依赖 Optane 内存的方案,新构建将近一半的模型权重转移至 RAM 驱动器中。这一改动带来了显著的性能增益:生成速度提升了约 41%,快速评估(Prompt Evaluation)速度提升了约 26%。

尽管绝对速度并非顶尖,但在提示词评估阶段达到了每秒 16.8 个代币。这种利用系统内存模拟非易失性存储以提升性能的做法,在硬件爱好者群体中并不罕见。虽然 RAM 本质上是易失性的,但在此配置下它被用作高速磁盘替代方案。作为对比,若仅使用双 GPU 而不配备 RAM 驱动器,生成速度为 2.20 t/s,即时评估速度为 13.3 t/s。

配置方式 模型存储位置 生成速度 (t/s) 快速评估速度 (t/s)
仅 Optane 全部 94 个分片存储在 Optane 中 2.20 13.3
1x RAM 驱动器 + 1x Optane 94 个分片中的 45 个存入 tmpfs 内存驱动器 (865GB 中的 414GB),其余存入 Optane 3.11 16.8
变化幅度 — 约快 41% 约快 26%

技术解析:混合专家模型与显存瓶颈

从数据可以看出,GPU 并未完全承载该模型。两张 RTX 3090 每张拥有 24GB VRAM,总计 48GB,仅占 865GB 模型文件大小的约 5.5%。这是因为 Kimi K3 属于混合专家(MoE, Mixture of Experts)架构。在该架构中,模型权重被划分为多个“专家”,每个代币仅激活部分专家进行计算。

具体而言,Kimi K3 包含 896 个专家,处理每个代币时选择其中 16 个路由专家,并始终运行 2 个共享专家。在总参数 2.8T 中,实际参与计算的活跃参数约为 104B。若以 16 位精度存储,所有 2.8T 参数需约 5.6TB 空间;Moonshot 提供的 4 位 MXFP4 格式版本约为 1.56TB;而本次测试使用的 Q2_K 量化文件压缩至 865GB,平均每参数占用不到 3 位。(注:此处 GB 数值源自实验室报告,实际可能指 GiB)。

工作负载分配与散热挑战

在该配置中,路由专家的张量保留在 CPU 侧,最初完全依赖 Optane,现改为 Optane 与 RAM 驱动器组合。Linux 的 tmpfs 文件系统将所有文件存储在虚拟内存中,由于 DRAM 的速度远高于 Optane,这部分数据的读取效率显著提升。RTX 3090 则主要负责注意力机制(Attention)、共享专家、KV 缓存以及当前对话上下文的存储。这意味着 GPU 上的组件在每个代币的处理过程中都会被高频调用,性能瓶颈主要在于 GPU 计算能力和内存带宽。

散热仍是该构建面临的主要挑战。Optane 内存模块在高负载下会产生大量热量,因此必须保留两个 12W 的风扇专门为其降温。此外,为了容纳两张 350W TDP 的 GPU 及其冷却系统,构建者不得不修改机箱结构,切除部分金属支架并重新安装电源供应器(PSU)。尽管吞吐量有所改善,但原始的热警告问题依然存在。

未来展望:量化优化与输出质量平衡

该项目的进一步优化空间仍然存在,例如采用“定制量化”技术。这与律师 Nick Mermiges 曾使用的技术类似,即根据张量或层的重要性,以及数据存储的位置(如较慢的 Optane 或较快的 RAM),动态调整量化精度。这种策略旨在降低对慢速存储介质的带宽和容量压力。

目前尚不清楚具体的实施细节,但值得注意的是,单纯追求每秒代币数(t/s)并非最终目标,未来的优化计划必须在速度与输出质量之间取得平衡。

评论 0

0/500

评论需审核后展示,请文明发言

💬
还没有评论,来说两句

相关阅读