Mini-AGI Dyn：在 8GB VRAM 上实现动态持续学习模型训练
开发者 volotat 近日发布了一个名为 Mini-AGI Dyn 的实验性项目，声称该动态持续学习模型能够在仅配备 8GB 显存（VRAM）的消费级硬件上进行训练。尽管项目名称引发争议，但作者强调其技术有效性，并公开了训练过程中的样本生成记录及扩展规律图表。
核心设计理念与技术路径
该项目旨在解决中等大型模型（1B+ 参数规模）在消费者硬件上难以完全控制训练数据的问题。虽然现有方案允许对大模型进行推断和微调，但 Mini-AGI Dyn 试图通过以下两个关键思路实现突破：
- 专家动态增删机制：借鉴能源部相关研究中的做法，在训练过程中动态添加或修剪模型专家。
- 磁盘空间依赖的参数管理：参数量仅受限于磁盘空间，而非显存容量。系统仅在需要时加载和卸载专家模块，从而避免存储大量随机批次及其对应的梯度数据。
据开发者介绍，这一方法是在与 AI 助手 Claude 进行头脑风暴后确定的，AI 工具在项目实施过程中发挥了重要作用。
当前进展与验证方式
目前，模型正在处理一个包含 7.8B 字符的数据集，权重文件尚未完全生成。训练逻辑模拟人类阅读行为，即从数据集中读取连续交错的段落。开发者提供了 GitHub 仓库链接供用户克隆代码、运行程序并独立观察整个训练过程。
相关链接：
