华为发布OceanStor M900语境内存,解决AI推理KV缓存瓶颈
华为发布OceanStor M900语境内存,专解AI推理KV缓存瓶颈。该设备依托UnifiedBus技术实现NPU直访存储,将延迟降至60微秒,支持64PB容量,有望使代币吞吐量翻倍并减半首代币时间。
共 1 篇相关文章
华为发布OceanStor M900语境内存,专解AI推理KV缓存瓶颈。该设备依托UnifiedBus技术实现NPU直访存储,将延迟降至60微秒,支持64PB容量,有望使代币吞吐量翻倍并减半首代币时间。