2025_NIPS_ALPS: Improved Optimization for Highly Sparse One-Shot Pruning for Large Language Models

文章核心总结与创新点

主要内容

本文针对大型语言模型（LLMs）因参数规模庞大导致的存储和计算资源消耗过高问题，提出一种基于优化的单样本剪枝框架ALPS。该框架通过算子分裂技术（ADMM）和预处理共轭梯度（PCG）后处理步骤，直接求解ℓ₀约束的层-wise重构优化问题，在无需重训练的情况下实现模型稀疏化。实验表明，ALPS在OPT、LLaMA2、LLaMA3等系列模型上表现优异，70%稀疏度下的LLaMA3-8B模型在WikiText数据集上测试困惑度降低29%，零样本基准性能提升4%-13%，且适配N:M稀疏格式，性能优于现有启发式剪枝方法。

核心创新点

1. 提出ℓ₀约束的层-wise重构优化问题，通过ADMM算子分裂技术同时优化权重支持集（非零权重索引）和权重值，首次为该类非凸非连续问题提供理论收敛保证。
2. 设计动态惩罚参数更新方案，平衡支持集质量与收敛速度，结合向量化和GPU并行的PCG后处理，较传统直接矩阵求逆实现20x-200x加速。
3. 同时支持非结构化剪枝和N:M结构化剪枝，在中高稀疏度（50%-90%）场景下保持更优性能，解决现有LLM剪枝依赖启发式导致的次优压缩问题。

---

英文原文翻译（Markdown格式）

Abstract

大型语言模型（LLMs）在各类自然语言处理任务中展现出令人印象深刻的性能，但这需要付出巨大的计算资源和存储成本。单样本剪枝技术无需重训练即可移除冗余