Pruning Large Language Models with Semi-Structural Adaptive Sparse Training

本文是LLM系列文章，针对《Pruning Large Language Models with Semi-Structural Adaptive Sparse Training》的翻译。

摘要

大型语言模型（LLM）在各种复杂任务中的巨大成功在很大程度上依赖于其巨大的规模，由于其大量的内存消耗，这给模型部署带来了挑战。最近，许多研究尝试使用一次性剪枝方法来压缩 LLM。然而，这些方法在复杂的语言理解任务上通常会出现相当大的性能下降，这使人们对LLM中剪枝的可行性产生了质疑。为了解决这个问题，我们提出了一种通过再训练对半结构化稀疏模型进行修剪的管道，称为自适应稀疏训练器（AST）。与之前的一次性剪枝方法不同，AST 通过对屏蔽权重应用衰减，逐步将密集模型转换为稀疏模型，同时允许模型在整个训练过程中自适应选择屏蔽。此外，我们观察到使用密集模型的蒸馏作为教师可以防止稀疏模型陷入局部最优并加速收敛。此外，我们还结合了额外的良好初始化参数，以在内存占用量增加最小的情况下进一步增强模型性能。 AST 可以显着增强模型性能，接近密集模型的水平。当应用于 LLaMA2-7B 模型时，AST 在多个零样本任务中将密集模型和半结构化稀疏模型之间的零样本精度差距缩小到 1.12%，而使用的预训练token不到 0.4%。我们的工作证明了部署半结构化稀疏大型语言模型的可行性，并介绍了一种与现有量化技术相结合实现高度压缩模型的新方法。

1 引言

2 相关工作

3 方法

4 实验

5 结论

在本文中，我们介绍了自适应稀疏训练器（AST），这是一种专为半结构化稀疏模型设计的新型训练管道。 AST 有效地缩小了密集型和稀疏型大型