Amortized Bayesian Meta-Learning for Low-Rank Adaptation of Large Language Models

论文《Amortized Bayesian Meta-Learning for Low-Rank Adaptation of Large Language Models》总结与翻译

一、文章主要内容

本文聚焦大语言模型（LLMs）微调中的泛化能力与计算效率问题，提出了一种名为“用于LoRA的摊销贝叶斯元学习（ABMLL）”的方法，核心内容如下：

1. 背景与问题：低秩适应（LoRA）是微调LLMs的经济高效方式，但微调后的模型泛化能力差，易出现“灾难性遗忘”；现有元学习方法（如基于上下文提示的微调、MAML-en-LLM）虽能提升泛化，却存在内存与计算成本高的问题（如需要长上下文提示、二阶梯度更新或保存多任务模型参数）。
2. 方法设计：基于摊销贝叶斯元学习（ABML）框架，结合LoRA实现LLMs的高效微调。
   • 重构LoRA中的任务特定参数与全局参数，用生成模型描述参数分布（全局参数生成任务特定参数），并通过摊销推理降低任务数量对计算/内存的影响。
   • 引入适配预训练模型参数分布的新先验，以及两个超参数β、γ，分别平衡任务特定参数与全局参数的一致性、全局参数与先验的接近度，避免权重空间概率量掩盖数据似然的影响。
   • 采用高斯分布表示变分分布，用LoRA适配器（A、B矩阵）计算全局与任务特定参数的均值和方差，确保方法可扩展至大型模型（如LLAM