# Nvidia H200

共 3 篇相关文章

HPE用存储卸载KV Cache,AI推理提速20倍

HPE将KV Cache卸载至存储层,缓解AI推理显存瓶颈。联合测试显示,在多智能体高并发场景下,首个Token生成提速20倍,有效吞吐量提升17倍,但实际收益取决于缓存命中率与传输效率。

AI代理Token用量达人类5倍,缓存提示占主导

a16z数据显示,AI代理Token用量达人类5倍。85%消耗源于缓存提示,自2月以来代理用量激增14倍,远超人类的2.8倍增长。这一趋势推高内存需求,凸显智能体规模化应用带来的基础设施压力。