三块二手 V100 构建千美元级集群,Qwen 3.6 35B 推理速度破百
一位家庭实验室搭建者通过组合三块二手 Nvidia Tesla V100 GPU,成功在总成本约 1,042 美元的定制服务器上运行大语言模型。基准测试显示,该配置在处理 Qwen 3.6 35B 模型时,实现了约 100 tokens/秒的推理性能。在同一硬件平台上,较小的稠密模型 Qwen 3.6 27B 的速度约为 24 tokens/秒。此外,V100 在执行相同任务时的能耗仅为同等数量 P100 的一半。

一个价值 1 千美元的 GPU 盒装满"电子垃圾" (V100,P100) 卡与现代硬件/推理 API 竞争。基准测试结果电力消耗:电力消耗:电力消耗量:
“电子垃圾”集群的详细构建与成本分析
相关博客文章《缩放电子垃圾:多个退役 GPU 上的 LLM》详细对比了九种不同的硬件构建方案,涵盖一至三块 K80、P100 或 V100-16GB 显卡的组合。测试基于 llama.cpp 框架,覆盖了包括 Qwen 2.5、Gemma 4 及 Qwen 3.6 在内的超过 130 个 LLM 测试用例,涉及 Q4/Q8/F16 精度以及从 4K 到 128K 的不同上下文长度,并记录了每次运行的 GPU 能量消耗。
在此前的 7 月测试中,该搭建者曾评估过 15 款此类退役企业级 GPU(俗称“电子垃圾”)。本次测试保持了主板和 CPU 的一致性,均采用 Supermicro X10DRG-Q 主板搭配两颗 Intel Xeon E5-2687W 12 核处理器,并由 Corsair HX1500i 电源供电。尽管这些旧卡价格低廉,但因其运行时发热量大且缺乏原厂冷却支持,制造商需为每张卡 3D 打印专用吹风管,这也促使了独立冷却器的开发。
值得注意的是,文中列出的价格并非当前 eBay 市场的实时报价,且仅包含单颗 CPU 的成本,未计入 RAM、存储、机箱及散热系统的费用。
部件 |
3x K80 |
3x P100 |
3x V100-16GB |
| 三块 GPU | $270 ($90/块) | $403.50 ($134.50/块) | $655.16 ($436.77/对) |
主板 |
$211 |
$211 |
$211 |
电源 |
$147.70 |
$147.70 |
$147.70 |
单颗 CPU |
$28.20 |
$28.20 |
$28.20 |
| 搭建者总成本 | $657 |
$790 |
$1,042 |
| 使用双 CPU 成本 | $685 |
$819 |
$1,070 |
性能表现:MoE 模型优势显著
该测试以每秒 70 个 token 作为“实时交互”的性能判定标准。之所以选用三块 V100,是因为主要测试对象 Qwen 3.6 35B 在 Q8 量化下显存需求略超两块卡的容量限制。Qwen 3.6 35B 是一款混合专家(MoE)模型,虽然总参数约为 350 亿,但每次推理仅激活约 30 亿参数。
在 10 次重复运行中,每次生成 512 个 token,背景预填充长度分别为 4K、32K、64K 和 128K。数据显示,随着上下文窗口增大,吞吐量有所下降,但仍保持较高水平。相比之下,稠密模型 Qwen 3.6 27B 的表现较弱,MoE 架构使其速度提升了四到五倍。
设置 |
4K |
32K |
64K |
128K |
| 3x V100, Q8 | 100.8 |
89.4 |
83.5 |
72.7 |
| 2x V100, Q4 | 105.4 |
96.2 |
89.5 |
77.1 |
| 3x P100, Q8 | 55.2 |
50.9 |
47.5 |
40.2 |
| M5 Max Mac, 8-bit | 105.5 |
91.1 |
78.5 |
61.3 |
其他约 30B 参数的稠密模型在 4K 上下文下的表现分别为:Gemma 4 31B 达到 20.9 tokens/s,Qwen 2.5 32B 达到 21.0 tokens/s。而 MoE 架构的 Gemma 4 26B 在 Q8 精度下,仅需两块 V100 即可突破 70 tokens/s 的目标。增加 GPU 数量主要提供的是显存容量以容纳更大模型,而非直接提升推理速度。
与现代硬件及能效对比
作为对照,P100 集群在相同上下文范围内运行 Qwen 3.6 35B (Q8) 的速度仅为 40.2 至 55.2 tokens/s,未能达到实时交互标准;而 Qwen 2.5 3B 虽能达到目标,但模型规模较小。
在与现代高端设备的对比中,Nvidia DGX Spark(建议零售价 $4,700)和 M5 Max Mac Studio(起价 $2,499,高配版 $5,399,配备 40 核 GPU、128GB 内存和 1TB SSD)被纳入参考。根据 oMLX 的基准数据,M5 Max 在 Qwen 3.6 35B 上达到 43.9 tokens/s,提示处理速度约 195K tokens/s。V100 集群在 64K 和 128K 长上下文下的速度比 M5 Max 高出约 19%,但由于运行环境不同,这些数据仅供参考。
Nvidia DGX Spark 的测试来自 Kleybrink 的 dgx-spark-bench,使用 Ollama 在思考模式下配合简短提示,其 45.8 tokens/s 的速度不足 V100 集群在 4K 上下文下速度的一半。据厂商称,双 H100 配置可达 315 tokens/s,单 B200 可达 455 tokens/s,后者约为 V100 集群性能的六倍,尽管 V100 集群运行的是完整的 16 位模型而非 8 位量化版本。此对比由推断提供商 Parasail 赞助。
在能效方面,V100 设置在运行 128K 上下文的 35B 模型时,GPU 能耗约为 0.02 kWh,而 P100 的能耗是其两倍多,两到三块 K80 的能耗则在 0.35 至 0.45 kWh 之间。这表明 V100-16GB 在提供更好性能的同时,能耗低于 P100。
目前尚不清楚后续计划的具体细节,但搭建者表示希望进行与“软件工厂”性能相匹配的基准测试。此外,一款“几乎准备好发布”的自定义冷却器正在招募 Beta 测试人员,具体发布日期待定。Reddit 讨论中提到,未来可能还会比较不同的推断后端,并尝试使用推测解码技术来提升性能。





