文献阅读：Sparse Low-rank Adaptation of Pre-trained Language Models

• 文献阅读：Sparse Low-rank Adaptation of Pre-trained Language Models
  • 1. 文章简介
  • 2. 具体方法介绍
    • 1. SoRA具体结构
    • 2. 阈值选取考察
  • 3. 实验 & 结论
    • 1. 基础实验
      • 1. 实验设置
      • 2. 结果分析
    • 2. 细节讨论
      • 1. 稀疏度分析
      • 2. rank分析
      • 3. 参数位置分析
      • 4. 效率考察
  • 4. 总结 & 思考

• 文献链接：https://arxiv.org/abs/2311.11696
• GitHub链接：https://github.com/TsinghuaC3I/SoRA

1. 文章简介

这篇文章是清华大学在23年11月发表的一篇针对LLM的高效finetune方面的工作。

众所周知，LLM虽然效果很好，但是由于其极其巨大的参数量，对LLM的finetune一直是一个老大难问题，因此最近针对这方面的研究也是层出不穷，其中最为知名的可能就是微软提出的LoRA算法了，我自己之前也整理了一篇水文来介绍过这篇工作（文献阅读：LoRA: Low-Rank Adaptation of Large Language Models）。

整体上来说，LoRA的核心思路就是用一个额外的Adapter网络来模拟模型finetune之后的参数微扰，使得原始模型的输出加上Adapter模型的输出近似于finetune之后的模型输出。此时，我们只需要train一个很小的adapter就可以来模拟模型的finetune了，既不用改动原始大模型的结构，也不需要增加很多额外的参数。

但是，LoRA有一个比较大的问题就是它默认了微扰对于各个层的影响都是一样的，且都是比较小的，因此LoRA对所有层都共享一个超参，就是adapter中间层的维度。而这个假设事实上是有点强的，因此后续也有一些工作尝试对这个点进行优化，文中提到的一个典型工作就是AdaLoRA，它通过奇异值分解的方式来动态调整不同层所需的Adapter中间层的维度，但是因为他引入了奇异值分解，因此需要挺多的额外计算量，且需要引入一些额外的正交假设。

基于此，文中提出了一个新的他们命名为SoRA的方法，本质上来说，它和AdaLoRA一样，也是希望动态调整不同层中Adapter中间层的维度，但是相较于AdaLoRA，更加简单直接，无需引入额外的假设，且不会增加多少额外的计算量。

下面，我们来具体看一下文中提出的SoRA方法的具体实现和对应的实验以及实验结果。

2. 具体方法介绍

1. SoRA具体结构

下面，我们首先来看一下SoRA的整体结构。

可以看到，本质上来说，SoRA依然走的还是LoRA的降维投影的模式，不过，SoRA的思路是先给一个较大的中间维度，然后通过$L_1$正则来获取参数的稀疏性，然后通过要给阈值来对维度进行剪裁，使得最终使用的中间矩阵$W_u$与$W_d$是两个较小维度的矩阵。

具体来说的话，我们先给出一个具有较大中间维度的系数投影矩阵$W_u$与$W_d$，这部分的定义是和LoRA完全一样的，然后我们给出一个门向量来对中间维度进行稀疏化剪裁，使得$W_u$与$W_d$当中用不到的部分直接置零被抹去。

具体的扰动量输出结果就是：

$$z=$$