SlimGPT: Layer-wise Structured Pruning for Large Language Models

本文是LLM系列文章，针对《SlimGPT: Layer-wise Structured Pruning for Large Language Models》的翻译。

摘要

大型语言模型（LLM）因其在各个领域的卓越能力而受到广泛关注，其巨大的参数规模为实际部署带来了挑战。结构化修剪是一种平衡模型性能和效率的有效方法，但在计算资源约束下的性能恢复是修剪LLM的主要挑战。因此，我们提出了一种基于Brain Surgeon框架的低成本、快速的LLM结构化修剪方法SlimGPT。我们提出了批量贪婪修剪，用于快速和接近最优的修剪，通过分组Cholesky分解提高了头部修剪误差估计的准确性，并通过动态组大小提高了FFN的修剪效率，从而在一小时内实现了近似的局部最优修剪结果。此外，我们从误差累积的角度探讨了分层修剪的局限性，并提出了增量修剪率，这是一种非均匀修剪策略，可以减少性能下降。LLaMA基准测试的实验结果表明，SlimGPT优于其他方法，并取得了最先进的结果。

1 引言

2 相关工作

3 前言

4 方法

5 实验

6 结论

在这项工作中，我们介绍了一种基于OBS框架的快速、结构化的修剪方法，用于资源受限场景中的大规模模型，称为SlimGPT。利用新的批处理贪婪修剪，我们提高了修剪误差估计的准确性，从而最大限度地减少了修剪造成的性能下降。此外，我们从误差累积的角度分析了分层修剪的局限性，并提出了一种名为增量修剪率的非均匀策略，有效地提高了修剪模型的性能。开源实验的证据证实了我们方法的有效性。
限制