三块二手V100组千美元集群,Qwen推理破百
三块二手V100组千美元集群,Qwen推理破百。该家庭实验室搭建者利用退役企业级GPU构建定制服务器,运行Qwen 3.6 35B模型时实现约100 tokens/秒的推理速度,能耗仅为同等数量P100的一半。
共 1 篇相关文章
三块二手V100组千美元集群,Qwen推理破百。该家庭实验室搭建者利用退役企业级GPU构建定制服务器,运行Qwen 3.6 35B模型时实现约100 tokens/秒的推理速度,能耗仅为同等数量P100的一半。