Efficient Pruning of Large Language Model with Adaptive Estimation Fusion

最新推荐文章于 2025-11-24 18:29:32 发布

UnknownBody

最新推荐文章于 2025-11-24 18:29:32 发布

阅读量215

点赞数 5

CC 4.0 BY-SA版权

分类专栏： LLM Daily 文章标签：剪枝语言模型人工智能

本文链接：https://blog.youkuaiyun.com/c_cpp_csharp/article/details/139410052

LLM Daily 专栏收录该内容

1689 篇文章 ¥99.90 ¥299.90

订阅专栏

超级会员免费看

本文探讨了针对大型语言模型（LLM）的结构化修剪方法，提出了一种新的自适应估计融合技术，该技术能更好地适应复杂多层解码器结构，提高在资源受限设备上的部署效率。实验结果显示，与现有方法相比，在LLaMa-7B、Vicuna-7B、百川-7B和Bloom-7b1上平均准确率有所提升。

本文是LLM系列文章，针对《Efficient Pruning of Large Language Model with Adaptive Estimation Fusion》的翻译。

摘要

大型语言模型（LLM）已经成为许多生成下游任务的关键，这导致了在资源受限的设备上高效地部署它们的不可避免的趋势和重大挑战。结构化修剪是解决这一挑战的一种广泛使用的方法。然而，当处理多个解码器层的复杂结构时，一般方法通常使用通用的估计方法进行修剪。这些方法导致特定下游任务的准确性下降。在本文中，我们介绍了一种简单而有效的方法，该方法自适应地对每个子结构的重要性进行建模。同时，它可以根据复杂和多层结构的结果自适应地融合粗粒度和细粒度估计。我们设计的所有方面都无缝集成到端到端修剪框架中。与主流数据集上的最先进方法相比，我们的实验结果表明，LLaMa-7B、Vicuna-7B、百川-7B和Bloom-7b1的平均准确率分别提高了1.1%、1.02%、2.0%和1.2%。

1 引言

2 相关工作

3 方法

4 实验

5 结论

本文观察到，现有LLM结构修剪技术的局限性源于复杂的多层解码器结构，该结构在每一层中包括各种运算符（例如，MLP和Attention）。本文介绍了一种简单而有效的方法，该方法可以自适应地对每个耦合结构的重要性进行建模。它在端到端修剪中自适应地集成了粗粒度和细粒度估计。我们在流行的LLM基准上验证了所提出的方法，与最先进的方法相比，LLaMa-7B、Vicuna-7B、百川-7B和Bloom-7b1的平均精度分别提高了1.1%、1.02%、2.0%和1.2%。
在未来，我们将探索非结构化修