三块二手V100组千美元集群,Qwen推理破百

三块二手V100组千美元集群,Qwen推理破百。该家庭实验室搭建者利用退役企业级GPU构建定制服务器,运行Qwen 3.6 35B模型时实现约100 tokens/秒的推理速度,能耗仅为同等数量P100的一半。

三块二手 V100 构建千美元级集群,Qwen 3.6 35B 推理速度破百

一位家庭实验室搭建者通过组合三块二手 Nvidia Tesla V100 GPU,成功在总成本约 1,042 美元的定制服务器上运行大语言模型。基准测试显示,该配置在处理 Qwen 3.6 35B 模型时,实现了约 100 tokens/秒的推理性能。在同一硬件平台上,较小的稠密模型 Qwen 3.6 27B 的速度约为 24 tokens/秒。此外,V100 在执行相同任务时的能耗仅为同等数量 P100 的一半。

成本约1042美元

一个价值 1 千美元的 GPU 盒装满"电子垃圾" (V100,P100) 卡与现代硬件/推理 API 竞争。基准测试结果电力消耗:电力消耗:电力消耗量:

“电子垃圾”集群的详细构建与成本分析

相关博客文章《缩放电子垃圾:多个退役 GPU 上的 LLM》详细对比了九种不同的硬件构建方案,涵盖一至三块 K80、P100 或 V100-16GB 显卡的组合。测试基于 llama.cpp 框架,覆盖了包括 Qwen 2.5、Gemma 4 及 Qwen 3.6 在内的超过 130 个 LLM 测试用例,涉及 Q4/Q8/F16 精度以及从 4K 到 128K 的不同上下文长度,并记录了每次运行的 GPU 能量消耗。

在此前的 7 月测试中,该搭建者曾评估过 15 款此类退役企业级 GPU(俗称“电子垃圾”)。本次测试保持了主板和 CPU 的一致性,均采用 Supermicro X10DRG-Q 主板搭配两颗 Intel Xeon E5-2687W 12 核处理器,并由 Corsair HX1500i 电源供电。尽管这些旧卡价格低廉,但因其运行时发热量大且缺乏原厂冷却支持,制造商需为每张卡 3D 打印专用吹风管,这也促使了独立冷却器的开发。

值得注意的是,文中列出的价格并非当前 eBay 市场的实时报价,且仅包含单颗 CPU 的成本,未计入 RAM、存储、机箱及散热系统的费用。

部件

3x K80

3x P100

3x V100-16GB

三块 GPU $270 ($90/块) $403.50 ($134.50/块) $655.16 ($436.77/对)

主板

$211

$211

$211

电源

$147.70

$147.70

$147.70

单颗 CPU

$28.20

$28.20

$28.20

搭建者总成本

$657

$790

$1,042

使用双 CPU 成本

$685

$819

$1,070

性能表现:MoE 模型优势显著

该测试以每秒 70 个 token 作为“实时交互”的性能判定标准。之所以选用三块 V100,是因为主要测试对象 Qwen 3.6 35B 在 Q8 量化下显存需求略超两块卡的容量限制。Qwen 3.6 35B 是一款混合专家(MoE)模型,虽然总参数约为 350 亿,但每次推理仅激活约 30 亿参数。

在 10 次重复运行中,每次生成 512 个 token,背景预填充长度分别为 4K、32K、64K 和 128K。数据显示,随着上下文窗口增大,吞吐量有所下降,但仍保持较高水平。相比之下,稠密模型 Qwen 3.6 27B 的表现较弱,MoE 架构使其速度提升了四到五倍。

设置

4K

32K

64K

128K

3x V100, Q8

100.8

89.4

83.5

72.7

2x V100, Q4

105.4

96.2

89.5

77.1

3x P100, Q8

55.2

50.9

47.5

40.2

M5 Max Mac, 8-bit

105.5

91.1

78.5

61.3

其他约 30B 参数的稠密模型在 4K 上下文下的表现分别为:Gemma 4 31B 达到 20.9 tokens/s,Qwen 2.5 32B 达到 21.0 tokens/s。而 MoE 架构的 Gemma 4 26B 在 Q8 精度下,仅需两块 V100 即可突破 70 tokens/s 的目标。增加 GPU 数量主要提供的是显存容量以容纳更大模型,而非直接提升推理速度。

(图片来源:Toms Hardware / esologic)

与现代硬件及能效对比

作为对照,P100 集群在相同上下文范围内运行 Qwen 3.6 35B (Q8) 的速度仅为 40.2 至 55.2 tokens/s,未能达到实时交互标准;而 Qwen 2.5 3B 虽能达到目标,但模型规模较小。

在与现代高端设备的对比中,Nvidia DGX Spark(建议零售价 $4,700)和 M5 Max Mac Studio(起价 $2,499,高配版 $5,399,配备 40 核 GPU、128GB 内存和 1TB SSD)被纳入参考。根据 oMLX 的基准数据,M5 Max 在 Qwen 3.6 35B 上达到 43.9 tokens/s,提示处理速度约 195K tokens/s。V100 集群在 64K 和 128K 长上下文下的速度比 M5 Max 高出约 19%,但由于运行环境不同,这些数据仅供参考。

Nvidia DGX Spark 的测试来自 Kleybrink 的 dgx-spark-bench,使用 Ollama 在思考模式下配合简短提示,其 45.8 tokens/s 的速度不足 V100 集群在 4K 上下文下速度的一半。据厂商称,双 H100 配置可达 315 tokens/s,单 B200 可达 455 tokens/s,后者约为 V100 集群性能的六倍,尽管 V100 集群运行的是完整的 16 位模型而非 8 位量化版本。此对比由推断提供商 Parasail 赞助。

在能效方面,V100 设置在运行 128K 上下文的 35B 模型时,GPU 能耗约为 0.02 kWh,而 P100 的能耗是其两倍多,两到三块 K80 的能耗则在 0.35 至 0.45 kWh 之间。这表明 V100-16GB 在提供更好性能的同时,能耗低于 P100。

目前尚不清楚后续计划的具体细节,但搭建者表示希望进行与“软件工厂”性能相匹配的基准测试。此外,一款“几乎准备好发布”的自定义冷却器正在招募 Beta 测试人员,具体发布日期待定。Reddit 讨论中提到,未来可能还会比较不同的推断后端,并尝试使用推测解码技术来提升性能。

评论 0

0/500

评论需审核后展示,请文明发言

💬
还没有评论,来说两句

相关阅读