AI代币成本骤降,大模型将成基础设施
AI代币成本正以每年数个数量级的速度骤降,大模型预计一至两年内将整合进计算各层面成为基础设施。GPU能效约每两年翻一番,叠加推理引擎优化,同等质量下任务成本大幅降低,瓶颈转向质量与访问权限。
共 46 篇相关文章
AI代币成本正以每年数个数量级的速度骤降,大模型预计一至两年内将整合进计算各层面成为基础设施。GPU能效约每两年翻一番,叠加推理引擎优化,同等质量下任务成本大幅降低,瓶颈转向质量与访问权限。
AWS拟到2029年部署超300万块Nvidia GPU。新增协议涵盖200万个Blackwell Ultra及Rubin系列芯片,交付时间提前至本季度启动。
AI云服务商Nscale申请纽交所IPO,估值目标350亿美元。其半年净亏损扩至102亿,虽手握千亿合同价值,但多数依赖未落地项目,且尚未获得履行协议的有约束力融资承诺。
爆料人kopite7kimi称RTX 60系列或推迟至2028年,与MLID的2027年上半年说法对立。多位泄密者质疑Rubin游戏GPU近期发布可能,分析认为Nvidia需平衡AI芯片产能与市场现状。
知名泄露者称Nvidia RTX 60系列GPU或推迟至2028年发布。受数据中心业务优先及供应链限制影响,消费级产品线资源被挤压。这意味着玩家需等待更久,且当前旗舰显卡仍面临高价与缺货困境。
大模型长上下文推理的瓶颈并非算力,而是KV Cache占用的显存。当缓存溢出导致重复计算时,将这部分“记忆”卸载至CPU,可在不增加GPU的情况下缓解并发压力,提升响应速度。