AILoRA: Function-Aware Asymmetric Initialization for Low-Rank Adaptation of Large Language Models

该文章提出AILoRA方法，通过函数感知的非对称初始化策略优化LoRA，解决其性能欠佳和收敛慢的问题，在多任务和模型上验证了有效性。

一、文章主要内容

1. 研究背景
   • 全参数微调大语言模型（LLMs）存在计算和内存开销大的问题，参数高效微调（PEFT）成为替代方案，其中LoRA因性能好、实现简单被广泛使用。
   • LoRA通常应用于自注意力模块的WQW^QW