Pruner-Zero: Evolving Symbolic Pruning Metric from scratch for Large Language Models

本文是LLM系列文章，针对《Pruner-Zero: Evolving Symbolic Pruning Metric from scratch for Large Language Models》的翻译。

摘要

尽管具有非凡的功能，但大型语言模型（LLM）由于其庞大的规模而面临部署挑战。修剪方法会减少一个子集的权重来加速，但其中许多方法需要重新训练，这是非常昂贵和计算要求很高的。最近，训练后修剪方法引入了新的度量，使LLM的修剪无需再训练。然而，这些指标需要人类专家的参与和繁琐的试错。为了有效地识别高级修剪度量，我们开发了一个使用遗传规划搜索符号修剪度量的自动框架。特别地，我们设计了一个包含现有修剪度量的精细搜索空间，以发现潜在的符号修剪度量。我们提出了一种相反的操作简化策略，以增加人口的多样性。通过这种方式，Pruner Zero允许自动生成符号修剪度量。基于搜索结果，我们探索了修剪度量与修剪后性能之间的相关性，并总结了一些原理。在语言建模和零样本任务上对LLaMA和LLaMA-2进行的大量实验表明，我们的PrunerZero比SOTA后训练修剪方法获得了更好的性能。代码位于：https://github.com/pprp/Pruner-Zero.

1 引言

2 相关工作

3 Pruner-Zero框架

4 实验

5 结论

在本文中，我们通过将大型语言模型（LLM）的符号修剪度量发现公式化为符号回归问题，提出了一个Pruner-Zero框架。我们利用遗传规划来有效地搜索在修剪后具有较低困惑的高级