From Local to Global: Revisiting Structured Pruning Paradigms for Large Language Models

文章核心总结与翻译

一、主要内容

本文聚焦大语言模型（LLMs）的结构化剪枝技术，针对主流局部剪枝范式任务无关、下游性能提升有限的问题，重新审视全局结构化剪枝并提出GISP（Global Iterative Structured Pruning） 方法。

1. 背景与现状：

   • 结构化剪枝因能生成硬件友好的紧凑架构，成为LLMs高效部署的关键技术，但主流局部剪枝（如SparseGPT、Wanda）通过逐层重构优化，仅保留困惑度或通用零样本性能，无法利用任务特定校准信号。
   • 全局剪枝虽能基于模型级损失定义重要性，但传统一次性剪枝在高稀疏度下稳定性差、易出现性能崩溃。

2. GISP方法设计：

   • 核心逻辑：基于一阶损失的结构级重要性权重（注意力头和MLP通道），结合块级归一化聚合，通过迭代式剪枝调度（而非一次性剪枝）稳定高稀疏度下的精度。
   • 关键特性：天然支持任务特定目标（语言建模用困惑度损失，决策类任务用边际损失），迭代轨迹形成嵌套子网络，实现“一次剪枝、多次部署”（prune-once, deploy-many）。

3. 实验结果：

   • 在Llama2-7B/13B、Llama3-8B、Mistral-0.3-7B等模型上，GISP在40%-50%高稀疏度下仍能