The Appeal and Reality of Recycling LoRAs with Adaptive Merging

文章主要内容与创新点总结

一、主要内容

本文聚焦于LoRA（低秩适配）模块的回收与自适应合并技术，核心研究如何利用公开模型仓库中用户贡献的“真实场景”LoRA模块提升下游任务性能。通过构建包含958个基于Llama 3.1 8B-Instruct的用户贡献LoRA池，在62个下游任务上系统评估了自适应合并与非自适应合并方法的效果，得出以下关键结论：

1. 自适应合并的有限优势：自适应合并方法虽能优于基础模型，但与直接在目标任务数据上训练新LoRA相比，未展现出显著且稳定的性能提升。
2. LoRA选择的无关性：当合并池包含目标任务LoRA时，随机选择LoRA与基于参数相似度、任务性能的精细化选择策略效果相当；甚至随机初始化参数的LoRA也能达到类似性能，说明其优势可能源于正则化效应而非跨任务知识迁移。
3. 正迁移的条件限制：仅当合并池中有高度相关的LoRA时（如受控实验中训练的专属LoRA），才会出现明显的跨任务正迁移；而真实场景中用户贡献的LoRA因异质性高、相关性低，难以实现有效正迁移。
4. 方法对比结果：非自适应方法（如简单平均、TIES合并）性能普遍低于自适应方法；自适应方法中，AdaMerging与本文提出的方法表现最优，LoraHub因梯度无关优化和粗粒度系数调整性能稍弱。

二、创新点

1. 首次大规模真实场景评估：突破以往研究依赖“