Multiverse用伊辛模型优化LLM深度剪枝
Multiverse将LLM深度剪枝转化为伊辛模型优化问题。该方法利用自旋系统能量预测性能,无需运行基准测试即可排名候选配置。在Llama-3.3-70B上实现50%压缩时,MMLU得分提升近23个百分点。
共 2 篇相关文章
Multiverse将LLM深度剪枝转化为伊辛模型优化问题。该方法利用自旋系统能量预测性能,无需运行基准测试即可排名候选配置。在Llama-3.3-70B上实现50%压缩时,MMLU得分提升近23个百分点。
Multiverse Computing指出,现有基于主题的LLM安全护栏易导致过度拒绝。研究提出“边界感知”方法,通过自蒸馏与数据配对,在政治等特定场景中精准区分有害子集与良性补集,显著降低误拒率并保留安全性。