律师升级 8V100 AI 服务器：DeepSeek 精度逼近 NVFP4，性能与稳定性权衡
南卡罗来纳州哥伦比亚的审判律师 Nick Mermiges 对其基于八块二手 Nvidia V100 GPU 搭建的私人 AI 服务器进行了重大更新。此次升级将约 80% 的工作负载从 2-bit 精度提升至接近 NVFP4（4-bit）精度，同时内存容量从 256GB 扩展至 1TB，并新增了一块 RTX 3090 GPU。该服务器主要运行 DeepSeek V4.1 Flash 模型，配合一套名为“法律 harness”的工作流与校验机制，用于处理其法律业务。
身份确认与技术背景
Mermiges 的身份通过其代码库、个人网站及 LinkedIn 得到确认。他拥有另一家技术咨询公司 PLI，而非传统律师事务所。在软件开发方面，Mermiges 利用 Claude Code 编写内核并执行基准测试。Opus 5.5 和 Fable 5.2 模型协助完成了优化、自定义内核开发及重新量化工作。Mermiges 表示，他对 Fable 构建自定义 Volta 内核的精度感到惊讶。
自 2 月至 7 月，Mermiges 围绕 Claude 建立了一套有效的法律工作流程。尽管早期尝试在本地模型版本中未能成功移植，但随着 DeepSeek V4.1 Flash 的发布，他成功实现了迁移，尽管他认为其效果仍不及云端前沿模型。他强调，“文件永远不会离开办公室”，因此坚持使用本地部署。
精度提升策略：混合量化方案
此次升级的核心在于将原“Volta Split”架构转变为“Volta Max uPLIft”。项目 README 显示，新版本权重精度为每参数 4.25 位，官方描述为“接近 NVFP4 精度”，而在论坛讨论中，NVFP4 被形容为“基本上完全精度”。
DeepSeek V4.1 Flash 采用专家混合（MoE）架构，包含 40 层，每层有 384 个专家，总计 15,360 个专家。由于八块 32GB V100 总显存仅为 256GB，而 2-bit 量化后的模型权重约占 248.8GB，新版本的完整高精度权重需约 556GB，远超现有硬件容量。
为解决这一瓶颈，Mermiges 采用了变通方案：将所有专家参数保留在 2-bit 精度，但根据使用频率，将部分高频专家替换为 NVFP4 精度，直至显存填满。统计数据显示，约有 38.7%（即 5,949 个专家）被替换为 NVFP4 精度。这里的“使用频率最高”是基于四种等权重的文本类型（包括其自有法律 harness 流量）统计得出。
性能表现与质量评估
这种混合量化策略显著提升了输出忠实度。以 Nvidia 自身模型为参考基准，下一个标记预测匹配率从 92.2% 上升至 95.1%；KL 散度（衡量构建概率与参考值距离的指标）从 0.196 纳特降至 0.079 纳特。在 513 道标准多选题知识测试中，三种情况下的准确度相同，但忠实度有所提升。
然而，精度的提升伴随着性能的下降。根据提示符长度不同，代码生成速度降低了 3% 至 30%，法律写作速度降低了 9% 至 23%。具体数据如下：
| 提示长度 | 首 Token 延迟 (2-bit / 近 NVFP4) | 代码生成速度 (tokens/s) (2-bit / 近 NVFP4) | 法律写作速度 (tokens/s) (2-bit / 近 NVFP4) |
|---|---|---|---|
| 1K tokens | 1.2s / 1.0s | 215.0 / 150.1 | 117.6 / 105.5 |
| 32K tokens | 17.2s / 16.0s | 200.5 / 165.1 | 116.5 / 93.4 |
| 128K tokens | 59.2s / 54.3s | 182.8 / 151.4 | 110.9 / 87.3 |
| 256K tokens | 118.7s / 108.4s | 160.0 / 154.6 | 103.1 / 93.5 |
在单次请求测试中，80% 至 86% 的解码路径落在 NVFP4 专家上，其中源代码调用频率最高，一般文本最低。双请求设置下，这一比例预测为 78% 至 85%，剩余 15% 至 22% 的请求仍由 2-bit 专家处理。
值得注意的是，每个并发请求需要一个独立的“slot”，这会占用显存状态空间，导致可容纳的 NVFP4 专家数量减少：单 slot、双 slot 和三 slot 分别对应 6,215、5,949 和 5,663 个 NVFP4 专家。这意味着每增加一个并发 slot，可能迫使一到两个调用点回退至 2-bit，从而潜在影响输出质量。
硬件调整与故障排查
此前归咎于 PCIe 的崩溃问题已消失，经排查，根本原因很可能是一个故障的电源供应器（PSU）。Mermiges 通过追踪 PCIe 插槽、显卡和电缆缩小了故障范围，最终锁定 PSU 问题。增加风扇后温度无变化，排除了气流问题；改变电力传输方式后，系统运行稳定。
在硬件配置上，本周完成的升级将原来的八条 32GB 内存模块更换为八条 128GB、速度为 2,933 MT/s 的 DDR4 模块。此前由于 ECC 错误，原模块仅能以 DDR4-2666 频率运行。升级后，主机识别出两个 NUMA 节点，但启动时在主板间首次数据传输时卡住，因此他在软件层面重新调整了显卡顺序。GPU 频率仍限制在 1,522 MHz，与之前保持一致。
V100 显卡目前仍在使用 R580 驱动分支，这是 Nvidia 支持这些旧款显卡的最后一条驱动线，处于“借来的时间”状态。
未来规划
Mermiges 已有两台 DGX Spark 设备运行相同模型，支持 1M 上下文窗口进行代理工作。下一步计划是扩大规模，引入第二台服务器，配备 512GB 的 3,200 MT/s ECC RAM。这台新服务器将运行另一个高精度的 DeepSeek 实例，用作额外的代理或并行任务处理。
此外，计划将 DeepSeek 的小型草稿模型从 V100 集群转移到新增的 RTX 3090 上，但该功能尚未实现。Mermiges 希望系统能卸载更多工作负载，此次精度与硬件升级正是为此目标服务。
