CPSVD: Enhancing Large Language Model Compression via Column-Preserving Singular Value Decomposition

文章总结与翻译

一、主要内容

该研究针对大型语言模型（LLMs）因参数规模庞大导致的部署瓶颈，提出了一种基于奇异值分解（SVD）的改进型模型压缩方法——列保留奇异值分解（CPSVD）。核心思路是解决传统SVD压缩方法对整个参数矩阵进行统一分解的局限性，通过精准识别矩阵中对分解误差敏感的部分，结合分层、分模块的自适应压缩策略，在保证压缩率的同时最小化性能损失。

文章首先分析了现有SVD类压缩方法的两大缺陷：一是忽略参数矩阵不同列对SVD分解的敏感度差异，统一处理导致部分列误差过大；二是对同一Transformer层内的不同模块采用相同压缩比，未利用模块间的分解误差异质性。基于此，CPSVD设计了三大核心机制：

1. 列保留策略：通过计算列级截断误差，直接保留误差较大的关键列，对误差较小的列进行SVD低秩分解，并通过三元搜索确定最优保留列数；
2. 模块级压缩比分配：在固定层压缩比的前提下，根据各模块的相对误差动态分配压缩预算，对误差小的模块分配更高压缩率；
3. 分层压缩比分配：基于层输入输出的相似度计算层重要性，为重要性不同的层分配差异化压缩比。

实验验证了CPSVD的有效性：在LLaMA、OPT、Vicuna、Mistral等多个模型家族（7B-30B参数规模）上，于20%-60%不同压缩率下，其语言建模困惑度和零样本任务准确率均显著优于传统SVD、ASVD、SVD-LLM等方法，且保持了线性的吞吐量提升和内存占用降低。

二、创新点

1. 提出列保留混合压缩策略：首次以矩阵列为基本处理单元，通过列