2025_NIPS_LoRASuite: Efficient LoRA Adaptation Across Large Language Model Upgrades

文章核心内容总结

该研究针对大型语言模型（LLMs）频繁升级导致原有LoRA权重失效、重新训练成本高昂的问题，提出了模块化方法LoRASuite。其核心是利用新旧模型的已知参数，通过矩阵转换、层映射、注意力头映射及小规模微调，实现LoRA权重的高效迁移，适配LLM在词汇量、隐藏层维度等六类升级场景。实验表明，LoRASuite在MiniCPM、Qwen等模型上，数学任务平均性能分别提升1.4和6.6个百分点，内存消耗减少5.5GB，计算时间缩短78.23%，甚至优于全量LoRA重新训练。

主要创新点

1. 首次系统梳理LLM升级的六类明确场景（词汇量、隐藏层大小等），针对性解决LoRA权重复用难题。
2. 提出模块化适配策略：基于中心核对齐（CKA）的层映射算法、基于匈牙利算法的注意力头映射方法，以及利用新旧模型参数计算转换矩阵的维度适配方案。
3. 引入小规模精巧微调阶段，解决矩阵转换带来的数值不稳定性，兼顾性能与效率。
4. 跨任务、跨模型验证有效性，适配AdaLoRA、DoRA等多种PEFT方法，且在合并多任务LoRA权重时仍保持性能优势。

---

翻译部分（Markdown格式）

Abstract

随着大型语言模型（LLMs）的频繁更新，在早期版本上训练的LoRA权重很快就会过时。在最新模型上从头重新训练LoRA权重的传统做法成本高昂、耗时且对环境不利，尤其是在LLMs和下游任务的多样性不断扩大的情况下。这引发了一个关键问题：“如