2025_NIPS_Compress Large Language Models via Collaboration Between Learning and Matrix Approxima...

文章核心总结与翻译

一、主要内容

本文聚焦大型语言模型（LLMs）压缩问题，针对传统稀疏矩阵压缩方法灵活性不足、层间权重冗余差异大导致全局最优剪枝结构难以确定的痛点，提出一种基于广义双层优化的新型压缩框架，实现学习与矩阵近似的协同优化。

1. 核心背景：现有LLM压缩方法多采用均匀稀疏分配或手动设计的启发式规则，无法适配不同层间异质的冗余特性及权重矩阵的秩与稀疏结构差异，导致压缩效果受限。而基于稀疏和低秩矩阵复合近似的RPCA范式虽更灵活，但全局优化难度高，且计算资源有限。
2. 框架设计：
   • 外层循环：将稀疏度分配与矩阵保留秩分配建模为概率优化问题，通过截断高斯先验和策略梯度估计器，自动学习层间稀疏度和矩阵级保留秩，避免昂贵的反向传播并稳定训练。
   • 内层循环：采用改进的基于QR分解的RPCA算法，替代传统昂贵的SVD求解器，快速求解给定分配方案下的稀疏-低秩分解问题，显著提升计算效率。
3. 实验验证：在Phi-3和Llama-2/3系列模型上进行大量实验，结果表明该方法在50%稀疏度下仍能保持95%以上的零样本准确率，推理速度提升高达2倍，且在高稀疏度场景下性能优于现有SOTA方法（如SparseGPT、Wanda、OATS等）。

二、创新点

1. 提出双层优化框架，首次将学习（外层分配优化）与矩阵近似（内层RPCA分解）有效协同，为LLM全局压缩提