Less is KEN: a Universal and Simple Non-Parametric Pruning Algorithm for Large Language Models

KEN修剪算法：大型语言模型的通用非参数优化方法

最新推荐文章于 2025-11-25 11:31:36 发布

UnknownBody

最新推荐文章于 2025-11-25 11:31:36 发布

阅读量97

点赞数

CC 4.0 BY-SA版权

分类专栏： LLM Daily 文章标签：剪枝语言模型算法

本文链接：https://blog.youkuaiyun.com/c_cpp_csharp/article/details/138867107

LLM Daily 专栏收录该内容

1691 篇文章 ¥99.90 ¥299.90

订阅专栏

超级会员免费看

本文提出了一种名为KEN的非架构特定、简单且非参数化的修剪算法，用于优化大型语言模型。通过使用核密度估计（KDE），KEN有效地选择并保留关键参数，减少模型内存需求，同时保持甚至提高模型性能。实验结果显示，KEN在多个transformer模型上实现了高达约70%的参数减少，且不影响性能。此外，KENviz工具提供了对修剪过程的可视化解释。

本文是LLM系列文章，针对《Less is KEN: a Universal and Simple Non-Parametric Pruning Algorithm for Large Language Models》的翻译。

摘要

由于神经网络模型的复杂性及其在各个领域的广泛应用，神经网络修剪变得越来越重要。现有的修剪算法经常受到架构特异性、过度复杂和对复杂计算的依赖等限制，这使得它们在现实世界的应用中不切实际。在本文中，我们提出了KEN：一种基于核密度估计（KDE）的简单、通用和非结构化修剪算法。KEN旨在通过选择性地保留最重要的参数，同时将其他参数恢复到其预训练状态，来构建优化的transformer模型。这种方法保持了模型性能，同时只允许存储优化的子网络，从而显著节省了内存。对七个transformer模型的广泛评估表明，KEN实现了与原始模型相同或更好的性能，最小参数减少了25%。与其他修剪和PEFT算法的深入比较证实了KEN的有效性。此外，我们还介绍了KENviz，这是一个可解释的工具，可以可视化优化的模型组成和KEN选择的子网络。