家庭实验室用RTX 3090本地运行Kimi K3模型
Homelab玩家用双RTX 3090本地跑通2.8万亿参数Kimi K3。通过RAM驱动器优化,生成速度达3.11 tokens/s,较纯Optane方案提升约41%,验证了混合专家模型在消费级硬件上的可行性。
共 1 篇相关文章
Homelab玩家用双RTX 3090本地跑通2.8万亿参数Kimi K3。通过RAM驱动器优化,生成速度达3.11 tokens/s,较纯Optane方案提升约41%,验证了混合专家模型在消费级硬件上的可行性。