Less is KEN: a Universal and Simple Non-Parametric Pruning Algorithm for Large Language Models

本文是LLM系列文章，针对《Less is KEN: a Universal and Simple Non-Parametric Pruning Algorithm for Large Language Models》的翻译。

摘要

由于神经网络模型的复杂性及其在各个领域的广泛应用，神经网络修剪变得越来越重要。现有的修剪算法经常受到架构特异性、过度复杂和对复杂计算的依赖等限制，这使得它们在现实世界的应用中不切实际。在本文中，我们提出了KEN：一种基于核密度估计（KDE）的简单、通用和非结构化修剪算法。KEN旨在通过选择性地保留最重要的参数，同时将其他参数恢复到其预训练状态，来构建优化的transformer模型。这种方法保持了模型性能，同时只允许存储优化的子网络，从而显著节省了内存。对七个transformer模型的广泛评估表明，KEN实现了与原始模型相同或更好的性能，最小参数减少了25%。与其他修剪和PEFT算法的深入比较证实了KEN的有效性。此外，我们还介绍了KENviz，这是一个可解释的工具，可以可视化优化的模型组成和KEN选择的子网络。

1 引言

2 背景

3 相关工作

4 KEN修剪算法

5 实验

6 结果和讨论

7 结论

在本文中，我们提出了KEN，这是一种新