Redis创始人发布ds4:本地运行超大MoE模型
Redis创始人antirez开源ds4,支持本地运行超大MoE模型。通过不对称2-bit量化与KV缓存磁盘化,让DeepSeek V4等模型在128GB内存设备上实现高效推理。
共 2 篇相关文章
Redis创始人antirez开源ds4,支持本地运行超大MoE模型。通过不对称2-bit量化与KV缓存磁盘化,让DeepSeek V4等模型在128GB内存设备上实现高效推理。
LibreDB Studio 0.15.0发布,支持浏览器端访问。该工具兼容42种数据库,实测28个AI模型,最快响应仅6秒,利用数据库原生机制保障只读安全。