Meta生产环境启用Google TPU,PyTorch原生支持落地
Meta生产环境启用Google TPU,PyTorch原生支持落地。三方合作推出TorchTPU方案,使SGLang等引擎无需重写代码即可在TPU运行,降低对Nvidia生态依赖。
共 2 篇相关文章
Meta生产环境启用Google TPU,PyTorch原生支持落地。三方合作推出TorchTPU方案,使SGLang等引擎无需重写代码即可在TPU运行,降低对Nvidia生态依赖。
Liquid AI发布VLM草稿模型DSpark。该方案仅增加280M参数,在设备端实现最高3.13倍解码加速,支持llama.cpp等主流框架,以低内存开销显著提升推理速度。