BESA: PRUNING LARGE LANGUAGE MODELS WITH BLOCKWISE PARAMETER-EFFICIENT SPARSITY ALLOCATION

本文是LLM系列文章，针对《BESA: PRUNING LARGE LANGUAGE MODELS WITH BLOCKWISE PARAMETER-EFFICIENT SPARSITY ALLOCATION》的翻译。

摘要

大型语言模型（LLM）在各种任务中表现出了出色的性能，如文本摘要、文本问答等。虽然它们的性能令人印象深刻，但由于其庞大的参数，其计算足迹可能令人望而却步。SparseGPT和Wanda等现有解决方案试图通过权重修剪来缓解这一问题。然而，他们的分层方法会对模型的输出产生显著的扰动，并需要细致的超参数调整，如修剪率，这可能会对整体模型性能产生不利影响。为了解决这一问题，本文引入了一种新的LLM修剪技术，称为分块参数高效稀疏分配（BESA），通过应用分块重建损失。与典型的逐层修剪技术相比，BESA具有两个独特的属性：i）它针对单个Transformer块的总体修剪误差，以及ii）它以可微分的方式分配特定于层的稀疏性，这两个属性都确保了修剪后性能下降的减少。我们的实验表明，BESA实现了最先进的性能，在短短五小时内就可以在单个A100 GPU上高效地修剪LLaMA1和LLaMA2等具有7B到70B参数的LLM。此处提供代码。

1 引言

2 相关工作

3 方法

4 实验

5 结论

在这项工作中，我们提出了分块参数高效稀疏性分配（BESA），这是一个联合修剪和量化大型语言模型（LLM）的综合框架。我们发现，先前技术所采用的逐层修剪误差最小化并不能有效地减轻修剪对模型输出的影响，因为修剪误差会逐层累积。相比之