Large Language Model Compression via the Nested Activation-Aware Decomposition

文章总结

主要内容

本文提出了一种名为**嵌套激活感知分解（NSVD）**的新型后训练压缩框架，旨在解决大型语言模型（LLM）在低秩分解中面临的两个关键挑战：

1. 激活分布的变异性：不同数据集和模型的激活分布差异导致传统SVD方法性能下降。
2. 未见激活的适应性：现有方法在处理新数据集或任务时容易出现"过拟合"。

NSVD通过以下创新设计提升压缩精度：

• 截断感知数据白化：通过调整权重矩阵与激活分布的关系，确保奇异值截断时的最小损失。
• 双向分解结构：在保持原始权重矩阵信息的同时，吸收激活异常值。

实验结果表明，NSVD在8个数据集和6个模型（涵盖LLaMA、OPT、Mistral三大家族）上均优于现有SVD方法（如ASVD、SVD-LLM），尤其在30%-50%压缩率或多语言/多任务场景下优势显著。

创新点

1. 嵌套分解框架：通过两步分解（激活感知分解+原始矩阵分解）平衡不同数