Adaptive Pruning for Large Language Models with Structural Importance Awareness

本文是LLM系列文章，针对《Adaptive Pruning for Large Language Models with
Structural Importance Awareness》的翻译。

摘要

大型语言模型（LLM）的最新进展显著提高了语言理解和生成能力。然而，由于LLM的高计算和存储资源需求，很难在资源受限的边缘设备上部署LLM。为了解决这个问题，我们提出了一种新的LLM模型修剪方法，即结构感知自适应修剪（SAAP），以在保持模型性能的同时显著降低计算和内存成本。我们首先定义了一个自适应重要性融合度量，通过考虑它们的同方差不确定性来评估LLM中所有耦合结构的重要性。然后，我们对所有模块的重要性进行排序，以确定应该修剪以满足特定性能要求的特定层。此外，我们开发了一种新的组微调策略来提高LLM的推理效率。最后，我们对所提出的SAAP方法在零样本分类和文本生成这两个常见任务的多个LLM上进行了评估。实验结果表明，我们的SAAP方法优于几种最先进的基线方法，在LLaMA-7B、Vicuna7B和LLaMA-13B上分别实现了2.17%、2.37%和2.39%的精度增益。此外，SAAP将token生成速度提高了5%，展示了其在资源受限场景中的实际优势。

1 引言

2 相关工作

3 前言

4 方法

5 实验

6 结论

本文提出了一种有效的LLM修剪方法，称为SAAP。它在估计阶段引入了自适应重要性度量，并使用重要性波动指数作为自适应结构搜索的评估标准，从而实现了有效的修剪性能。在恢复阶段，我们开发了一种逐组微调策略，有效地结合了低秩和量化。通过大量实验