SparseGPT: Massive Language Models Can be Accurately Pruned in One-Shot-优快云博客

本文是LLM系列文章，针对《SparseGPT: Massive Language Models Can be Accurately Pruned in One-Shot》的翻译。

SparseGPT：大规模语言模型可以一次性精确修剪

摘要
1 引言
- - 概述
2 背景
3 SparseGPT算法
4 实验
5 相关工作
- - 剪枝方法
  - 后训练量化
6 讨论

摘要

我们首次证明，大规模生成预训练Transformer（GPT）族模型可以在一次操作中修剪到至少50%的稀疏性，而无需任何重新训练，精度损失最小。这是通过一种名为SparseGPT的新修剪方法实现的，该方法专门设计用于在大规模GPT家族模型上高效准确地工作。我们可以在不到4.5小时的时间内在最大的可用开源模型OPT-175B和BLOOM-176B上执行SparseGPT，并且可以达到60%的非结构化稀疏性，而困惑度的增加可以忽略不计：值得注意的是，在推理时可以忽略这些模型中的1000多亿个权重。SparseGPT可推广到半结构化（2:4和4:8）模式，并与权重量化方法兼容。该代码可在以下网址获得：https://github.com/IST-DASLab/sparsegpt。

1 引言

生成式预训练Transformer（GPT）系列的大语言模型（LLMs）在广泛的任务中展现出了卓越的性能，但由于其庞大的规模和计算成本，难以进行部署。例如，性能顶尖的GPT - 175B模型有1750亿个参数，以半精度（FP16）格式存储时，总计至少320GB（按1024的倍数计算），这使得推理时至少需要5个内存为80GB的A100 GPU。因此，人们自然对通过模型压缩来降低这些成本有着浓厚的兴趣。到目前为止，几乎所有现有的GPT压缩方法都集中在量化上（Dettmers等人，2022；Yao等人，2022；Xiao等人，2022；Frantar等人，2022a），即降低模型数值表示的精度。

另一种压缩方法是剪枝，它可以去