# 本地推理
共 6 篇相关文章
Altman：数据中心内存利用率优于本地推理
OpenAI CEO Altman称数据中心内存利用率优于本地推理。他认为将有限的DRAM集中云端比分散在个人设备更高效，尽管承认用户可在自有硬件运行局部AI，但指出这并非宏观最优解。
Redis创始人发布ds4：本地运行超大MoE模型
Redis创始人antirez开源ds4，支持本地运行超大MoE模型。通过不对称2-bit量化与KV缓存磁盘化，让DeepSeek V4等模型在128GB内存设备上实现高效推理。
Jevstiller开源工具实现云端AI本地蒸馏
Jevstiller开源工具将云端AI蒸馏至本地运行。该方案通过智能路由实现98%协议一致率，本地处理零Token消耗，免除每10亿代币42美元费用及300毫秒网络延迟。
Ollaya发布开源决策模型，实现毫秒级本地推理
Ollaya发布开源决策模型，支持毫秒级本地推理。该模型采用非自回归架构，单次前向传递即可输出结果，在RTX 4090上响应仅需8.9毫秒，兼容TypeSafe接口规范。
浏览器本地LLM实验：直接读取概率比生成JSON快
一项完全在浏览器内运行的本地实验显示，大语言模型在处理选择题时，直接读取选项概率分布无需完整文本解码。该实验支持MiniCPM5等模型在用户GPU上运行，对比了直接读取logits与逐token生成JSON两种路径的耗时差异，且数据不离开页面。