研究称DeepSeek等模型疑用禁运Blackwell芯片训练

独立机构研究称DeepSeek等模型疑用禁运Blackwell芯片训练。通过比对权重初始化分布,发现其与Blackwell架构特征吻合,并排除了AMD硬件可能,但无法精确定位具体型号及地理位置。

近期,关于美国对华出口管制的高端 AI 芯片流向问题引发关注。尽管贸易限制措施不断收紧,但 Nvidia Blackwell(布莱克韦尔)系列 GPU 似乎仍通过物理或虚拟渠道进入中国市场。独立研究机构 Unemployment Labs 发布的最新研究提供了有力证据,指出 DeepSeek、Kimi 等中国人工智能模型可能使用了被禁止出口的 Nvidia Blackwell GPU 进行训练。

SM数量匹配揭示芯片来源

研究人员在披露发现时保持谨慎,强调其数学推导虽具说服力,但无法直接定位芯片的具体地理位置。目前,中国企业在海外租用 Blackwell 硬件并不违反现行法律,讯飞与 Oracle 的交易案例也印证了这一点。

(图片来源:Unemployment Labs)

该识别方法主要适用于开放权重模型,依赖于训练所用的软硬件环境。其核心逻辑在于不同代际的 AI 加速器拥有独特的流式多处理器(SM)架构,类似于 CPU 的核心结构。具体参数显示,Nvidia Hopper 系列拥有 132 个 SM,Blackwell B 系列为 148 个,而 Blackwell GBs 系列则达到 152 个。在软件层面,PyTorch 配合 CUDA 仍是 Nvidia 硬件上最广泛使用的训练组合。

模型训练的第一步是初始化权重,即确定模型对每个输入值的响应强度。在现代大语言模型(LLM)架构中,这一过程涉及随机化步骤,利用 cuRAND 生成伪随机数来调整权重值。由于种子起始值固定,每次产生的调整数字序列是一致的。对于大型权重组,Blackwell 和 Hopper 架构下每个 SM 处理的线程数均为 2,048。

研究团队在相同的芯片架构、软件版本及线程配置下复现了这一初始化过程。通过统计分析,他们发现复现后的权重分布与 DeepSeek、Kimi 等模型的统计分布完全吻合。作为对照实验,当改变 SM 数量或线程数时,这种相关性随即消失。

基于此,研究人员能够推断出各模型所使用的 Blackwell 或 Hopper 芯片家族,并估算出大致的使用卡数。不过,该方法仅能关联初始化布局的数量,无法区分具体的 VRAM 容量、内存带宽或其他单卡特征,因此难以精确锁定具体型号。

针对 AMD MI300X 等其他潜在硬件的可能性,科学家指出,虽然 AMD 显卡理论上可配置为 148 或 152 个 SM 组,但在对 DeepSeek V4 的实际权重值进行深入分析后,排除了使用 AMD 卡的可能,因为其生成的权重模式与 Nvidia 芯片存在显著差异。

评论 0

0/500

评论需审核后展示,请文明发言

💬
还没有评论,来说两句

相关阅读