Corbenic AI推Galahad:KV缓存存NVMe提升推理效率
比利时初创公司Corbenic AI将于2026年10月测试Galahad。该工具将LLM的KV缓存存至本地NVMe,避免GPU重复计算。无需专用硬件,旨在提升推理效率。
共 2 篇相关文章
比利时初创公司Corbenic AI将于2026年10月测试Galahad。该工具将LLM的KV缓存存至本地NVMe,避免GPU重复计算。无需专用硬件,旨在提升推理效率。
Mistral发布万亿参数模型ML4,仅用4000块GPU训练。该模型主打开放权重与安全审计,聚焦网络安全、金融及芯片设计领域,由ASML和三星支持,旨在开辟AI第三种路径。