购买硬件前的本地 LLM 性能参考
在决定购买运行大型语言模型（LLM）的硬件之前，了解不同配置下的实际推理速度至关重要。以下数据汇总了社区基准测试及基于规格的预测结果，涵盖从消费级显卡到专业工作站等多种设备。
按硬件平台浏览
- NVIDIA RTX 3090 (24GB)
- AMD Ryzen AI Max+ 395 (128GB, Strix Halo)
- NVIDIA RTX 5090 (32GB)
- AMD Radeon AI PRO R9700 (32GB)
- NVIDIA RTX 4090 (24GB)
- Mac Studio M5 Ultra (256GB)
- MacBook Pro M5 Max (128GB)
- NVIDIA DGX Spark (128GB)
- NVIDIA RTX 5060 Ti (16GB)
- NVIDIA RTX PRO 6000 (96GB)
- Mac Studio M5 Ultra (512GB)
- NVIDIA Tesla V100 (32GB)
- Intel Arc Pro B70 (32GB)
- AMD RX 7900 XTX (24GB)
- NVIDIA RTX 5070 Ti (16GB)
- NVIDIA RTX Spark N1X (128GB, 笔记本电脑)
- AMD Ryzen AI Max+ PRO 495 (192GB, Gorgon Halo)
- NVIDIA RTX 3060 (12GB)
- NVIDIA RTX 5080 (16GB)
- Mac Studio M3 Ultra (512GB)
- Mac Mini M5 Pro (64GB)
- MacBook Pro M5 Pro (48GB)
- Mac Studio M4 Max (128GB)
- AMD RX 9070 XT (16GB)
- AMD RX 7900 XT (20GB)
- 仅 CPU (Ryzen 9 9950X, 96GB DDR5)
- MacBook M4 Pro (24GB)
- H100 (80GB, 云端)
- H200 (141GB, 云端)
按模型版本浏览
- Gemma 3.6/3.8 27B
- Qwen 3.8 Flash Next
- GLM-5.3 Flash
- Gemma 4 26B A4B
- GPT-OSS 20B
- Gemma 3.5/3.6 35B A3B
- Gemma 4 31B
- Gemma 3.5 9B
- DeepSeek V4 Flash
- DeepSeek V4.1 Flash
- GPT-OSS 120B
- Llama 3.1 8B
- Gemma 4 12B
- GLM-5.3
- Nemotron 3.5 Flash 30B A3B
上述数据为单个设备上短提示词的估计值。测量数字主要来源于 r/LocalLLaMA、localscore.ai 等社区基准测试；部分数据则基于类似设置推导或根据硬件规格预测得出。相关项目已在 GitHub 开源。
