ARA: Adaptive Rank Allocation for Efficient Large Language Model SVD Compression

一、文章主要内容总结

该研究聚焦于大语言模型（LLM）的SVD（奇异值分解）压缩技术，核心解决全局压缩比约束下不同线性模块的最优秩分配问题。由于SVD仅适用于线性模块，而LLM包含大量非线性组件，需对每个线性模块独立应用SVD，如何为各模块分配合理秩以平衡压缩效率与模型性能成为关键挑战。

现有方法存在明显缺陷：启发式算法搜索空间受限、忽略模块间依赖；基于掩码的方法难以捕捉奇异值谱与可训练参数的关系，且未考虑压缩比为1时增益函数的非光滑性，易陷入局部最优。为此，研究提出自适应秩分配（ARA）方法，通过专用掩码设计和额外损失函数，实现全局最优的秩分配。

实验结果显示，ARA在LLaMA2、Qwen3系列模型上表现优异：在LLaMA2-7B的80%压缩比下，WikiText2数据集困惑度从8.38降至6.42，零样本任务平均准确率提升9.72个百分点；与量化、剪枝等技术兼容性良好，且在不同模型规模和压缩比下均保持稳健性。

二、文章创新点

1. 专用掩码设计：提出阶梯式二进制映射矩阵生成概率掩码，同时保证与奇异值一致的非递增单调性和全局更新影响，避免梯度消失，解决了Gumbel-Sigmoid掩码无单调性、tanh掩码局部更新的问题。
2. 全秩引导损失：引入引导损失函数，根据模块压缩比与保留容量的关系，动态决定是否保留原始稠密矩阵，缓解了压缩比为1时损失函数非光滑导致的局部最优问题。
3. 联合优化目标：结合交叉熵损失（保障任