本文是LLM系列文章,针对《AFLoRA: Adaptive Freezing of Low Rank Adaptation in Parameter
Efficient Fine
摘要
我们提出了一种新的参数高效微调(PEFT)方法,称为低秩自适应的自适应冻结(AFLoRA)。具体来说,对于每个预训练的冻结权重张量,我们添加一个可训练的低秩矩阵的并行路径,即向下投影和向上投影矩阵,每个矩阵后面都有一个特征变换向量。基于一种新的冻结分数,我们在微调过程中逐步冻结这些投影矩阵,以减少计算量并减轻过度拟合。我们的实验结果表明,根据GLUE基准评估,我们可以实现最先进的性能,平均提高高达0.85%,同时平均可训练参数减少9.5倍。在运行时间方面进行比较,AFLoRA可以产生高达1.86×与类似的PEFT替代品相比。除了我们的方法的实用性外,我们还提供了不同模块下LoRA路径的可训练性要求以及不同投影矩阵的冻结时间表的见解。代码将被发布。