DDR5涨价催生RAMDeck众筹:整合闲置设备内存运行AI
TradeMAV推出RAMDeck众筹,整合闲置设备内存运行AI。DDR5涨价五倍催生此方案,基于llama.cpp RPC后端,将模型层分割至多机处理。早期价109美元,目标1万美元,性能以容量换速度。
共 4 篇相关文章
TradeMAV推出RAMDeck众筹,整合闲置设备内存运行AI。DDR5涨价五倍催生此方案,基于llama.cpp RPC后端,将模型层分割至多机处理。早期价109美元,目标1万美元,性能以容量换速度。
Opposable让AI代理远程操控安卓手机。实测显示,切换主题耗时50秒,查询任务成本达0.44美元,成功率仅四分之三,效率与经济性尚不及原生助手。
Reddit用户发布PS5LM分叉版,在破解PS5上实现GPU加速运行大模型。Qwen3.8-27B生成速度达每秒20代币,内存上限提升至11.4GiB,支持WebUI远程交互。
Hugging Face为Transformers库新增GGUF格式支持。开发者现可直接加载量化模型进行本地推理,初步重点覆盖Apple Silicon及Qwen3.5架构,旨在简化高效本地AI部署流程。