论文阅读笔记——ADALORA: ADAPTIVE BUDGET ALLOCATION FOR PARAMETER-EFFICIENT FINE-TUNING

AdaLoRA 论文

在 LoRA 中通过在原特征一侧添加一个低秩的矩阵实现模型在下游任务的微调：
$$h=W_{0}x+\Delta Wx=W_{0}x+BAx(1)$$
其中 $dim(A)=r\times k,dim(B)=d\times rr<<min(d,k)$。
它的一个重要局限性在于：LoRA 在一个模型的所有使用 adapter 的模块都是用同一个 r，但是不同深度的参数，或者同一个深度不同模块的参数，在模型中的重要性应当是不同。

由图中可得，自注意力中的全连接层比计算 Q，K，V 的重要性更高，更深的参数比更浅的参数重要。

故而 AdaLoRA 解决的问题为：根据模块的重要性为他们分配不同的秩。关注于以下几个问题：

1. 如何融合 SVD 和 LoRA
2. 如何衡量参数的重要性
3. 如何根据重要性计算 r

融合 SVD 和 LoRA

如果对 BA 直接进行秩的调整，会将 B 的某些列或者 A 的某些行置零，会丢失较多信息且难以恢复。并且 B 和 A 并不是正交矩阵，意味着各元素之间有强相关性，置零会破坏相关性。

AdaLoRA 将 LoRA 的计算方式调整为（SVD 奇异值分解）并且直接将参数 SVD 化可以避免训练中 SVD 计算带来的资源消耗：
$$W=W_0+\Delta =W_0+P\Delta Q(2)$$
其中 $P\in R^{d_1\times r}$ 和 $Q\in R^{r\times d_2}$ 为 $\Delta$ 的左右奇异向量，同时为了确保 P 和 Q 的正交性有：
$$R(P,Q)=||P^{T}P-I|{|}_F^2+||Q^{T}Q-I|{|}_F^2(3)$$

• 只调整 $\Delta$，训练中更容易恢复被误删的奇异值
• P 和 Q 为正交向量，对 $\Delta$ 的调整不会影响其他奇异值对应的奇异向量

特征重要性

在模型剪枝中，单个参数的敏感度被定义为梯度和权重乘积的绝对值：
$$I(w_{ij})=|w_{ij}\cdot {\nabla }_{w_{ij}}\mathcal{L}|(4)$$
在 SGD 中，$I(w_{ij})$ 只是单个 batch 的样本的重要性，使用滑动平均来减轻评估误差得到敏感性，并且计算滑动平均的敏感性的不确定性（表示敏感性的局部时间变化）$U^{(t)}=(w_{ij}$