在计算资源受限的小型设备上直接运行人工智能模型,往往面临内存不足的瓶颈。麻省理工学院计算机科学与人工智能实验室(CSAIL)与哈佛大学的研究人员指出,传统的“参数效率微调”(PEFT)技术虽然旨在通过调整少量模型参数来降低内存占用,但实际上并未达到预期效果。

研究团队发现,问题的核心在于模型训练过程中产生的“中间激活存储”。即便只更新部分参数,模型仍需在隐藏层中记录大量计算状态,导致内存消耗居高不下。针对这一痛点,CSAIL 工程师开发了一种名为“低内存激活等级子空间”(LARS)的新方法。实验数据显示,相较于顶级 PEFT 技术,LARS 在 GPU 上可将大语言模型(LLM)的内存占用减少超过 23%,在 CPU 上则减少约 47%。
麻省理工学院电气工程和计算机科学(EECS)博士生、CSAIL 研究人员 Irene Tenison 打了个比方:“这就好比听讲座时,与其记下所有细节,不如只总结几个关键句子。” LARS 正是通过这种“精简笔记”的方式,帮助在硬件升级频率较低的小型设备上更高效地运行 AI。
该技术特别适用于需要本地化处理长文本或实时数据的场景。例如,健身手表可在几分钟内直接在设备端分析心率数据,无需依赖云端;工厂中的 AI 模型可本地监督工作流程;机器人也能更有效地处理周围环境信息。
内存与能耗的双重优化
为了量化 LARS 的实际效益,Tenison 及其同事在 Raspberry Pi 5 上进行了测试。结果显示,在使用 LARS 和主流 PEFT 方法“LoRA”对 LLM 进行微调时,在 128,000 的上下文长度下,LARS 节省了 9% 的内存,且随着上下文长度的增加,节省幅度更为显著。
在更高性能的芯片上进行详细问答测试时,研究人员观察到一种权衡关系:尽管 LARS 的准确度略低于 LoRA,但其内存节省效果远超其他基线方法。具体而言,在高性能 NVIDIA GPU 上,LARS 比主要基线节省约 10 GB 内存;而在算力较弱的 AMD CPU 上,其内存节省量则是基线的两倍。
内存效率的提升也带来了能源消耗的降低。当要求 LLM 在 CPU 上执行短、中、长不同长度的提示时,LARS 方法相比可比基线减少了约 22% 的功率和能量使用。“我们迄今收集的数据表明,LARS 可能是一种更具可持续性的 LLM 微调方法,”Tenison 表示。
与其他技术的互补性
为了进一步缩小内存足迹,MIT CSAIL 建议将 LARS 与其他优化手段结合使用。由于 LARS 专注于处理模型的中间隐藏计算,它与那些优化注意力机制、特定层数据处理或模型量化的工具并不冲突,反而具有兼容性。
研究团队认为,这两种方法实际上是互补的。若将 LARS 与上述技术配合使用,有望实现更高的能源节约效率。该研究成果已发表于 arXiv,题为《通过序列压缩低等级子空间进行激活高效微调》(Activation-Efficient Fine-Tuning via Low-Rank Subspaces with Sequence Compression),标签为 10.48550/arxiv.2604.22783。





