- Tiny Corp 推出售价 30,000 美元的 tinybox Red Kimi，集成四张 AMD Radeon AI Pro R9700 GPU（共 128 GB GDDR6）与十六块 1 TB NVMe SSD
- 通过微型驱动程序实现 GPU 直接访问 SSD 阵列（带宽 238.4 GB/s），旨在本地运行 Moonshot AI 的 2.8 万亿参数模型 Kimi K3
- 官方宣称推理速度可达每秒 40 个 token，但该性能高度依赖 VRAM 对权重的缓存命中率
Tiny Corp 近日发布了名为 tinybox Red Kimi 的小型 AI 工作站。尽管冠以“小”字，该设备定价高达 30,000 美元，其核心配置包括四张 AMD Radeon AI Pro R9700 显卡和十六块 1 TB NVMe SSD。该产品的唯一目标是在桌面端本地运行 Moonshot AI 发布的 2.8 万亿参数大模型 Kimi K3，从而摆脱对数据中心的依赖。
硬件规格方面，每张 R9700 配备 32 GB GDDR6 显存，单卡带宽为 640 GB/s。四卡组合提供总计 128 GB 的 GPU 显存和 2,560 GB/s 的聚合带宽。系统基于 Tiny Corp 的 G5 平台构建，搭载一颗 32 核 AMD Epyc Genoa 处理器（具体型号未在配置器中标注），并配备 32 GB DDR5 系统内存。Tiny Corp 声称该系统可实现每秒 40 个 token 的生成速度。
存储架构：GPU 直连 NVMe 阵列
Red Kimi 的独特之处在于其存储子系统。十六块驱动器组成 RAID 阵列，提供 238.4 GB/s 的读取带宽。Tiny Corp 表示，其 tinygrad 软件包含一个专用驱动程序，允许 AMD GPU 绕过 CPU 直接控制 NVMe 驱动器进行数据读取。
这一设计源于容量限制。根据 Moonshot 的模型卡信息，Kimi K3 采用原生 MXFP4 权重格式，Hyperstack 测得其检查点大小约为 1.56 TB。相比之下，四个 GPU 的总显存仅能容纳约 8% 的模型权重，剩余部分必须驻留在其他存储介质中。
虽然 GPU 直接访问 SSD 的概念并非首创——Nvidia 与伊利诺伊大学研究人员曾在 ASPLOS 2023 上展示过 BaM 系统架构，将存储视为加速器内存的延伸层级——但 Tiny Corp 的产品是目前少数在 AMD 工作站显卡上实现该功能的工作版本。
物理形态上，配置器代码估算 Red Kimi 重量约为 56 磅，尺寸为宽 12 英寸、高 19.25 英寸、深 18 英寸。噪音方面，R9700 的风扇噪音等级从低于 50 dB 提升至低于 60 dB，官方提示风扇声音清晰可闻。
性能分析：带宽瓶颈与缓存策略
Kimi K3 是一个混合专家（MoE）模型，每个 token 激活 896 个路由专家中的 16 个以及两个共享专家，涉及约 1040 亿活跃参数。在 MXFP4 格式下（有效位宽 4.25 位/权重），每生成一个 token 至少需要读取 55 GB 的权重数据。
若完全依赖 SSD 读取，受限于 238.4 GB/s 的阵列带宽，理论上限仅为每秒 4 个 token。要达到每秒 40 个 token 的目标，系统需处理约 2.2 TB/s 的数据流，这相当于四张 GPU 总内存带宽的 86%。此时，SSD 仅能贡献约 6 GB/token 的数据量，占所需数据的 11%。
这意味着高性能的前提是 GPU 的 128 GB 显存必须缓存绝大部分当前 token 所需的权重，即便它只能容纳整个模型的十分之一。如果专家选择具有足够的可预测性，或者 Tiny Corp 采用了投机解码、比 Moonshot 原生格式更低精度的量化技术或其混合方案，才可能达成此速度。
目前尚不清楚 Tiny Corp 公布的速度背后的具体精度损失、上下文长度、批量大小或详细方法论。此外，总带宽数据假设工作负载在通过 PCIe 通信的四张显卡间均匀分布。
市场竞争：对比 Apple Mac Studio 与 Nvidia DGX
对于台式机而言，30,000 美元的价格不菲，但在本地运行 2.8 万亿参数模型的替代方案同样昂贵。据 Macworld 报道，搭载 M5 Ultra 芯片和 512 GB 统一内存的 Apple Mac Studio 起售价为 22,299 美元；配备 16 TB SSD 的版本价格为 29,799 美元，仅比 Tiny 的主机便宜 201 美元。Apple 声称其快速内存带宽为 1.2 TB/s，虽高于前者，但 512 GB 的容量仍无法容纳 K3 的原生检查点。
Nvidia 基于 GB300 的 DGX Station 售价接近 91,100 美元，配备 748 GB 内存，同样难以满足需求。AMD 的 Threadripper Halo Station 可提供最高 2.6 TB 的组合内存，足以从容运行该模型，但其预计要到 2027 年才会推出，且行业估计整套系统价格约为 150,000 美元。
在众多昂贵且复杂的竞争产品中，Red Kimi 被视为在单一桌面上保持 Kimi K3 原生精度的最经济方式。然而，“可用的速度”目前仍是一个承诺而非已验证的结果，实际体验取决于缓存命中率等关键因素。
