# Alletra Storage

共 1 篇相关文章

HPE用存储卸载KV Cache,AI推理提速20倍

HPE将KV Cache卸载至存储层,缓解AI推理显存瓶颈。联合测试显示,在多智能体高并发场景下,首个Token生成提速20倍,有效吞吐量提升17倍,但实际收益取决于缓存命中率与传输效率。