本文提出了一种新的大型语言模型（LLM）修剪技术——层折叠（LaCo）。通过将模型的后层折叠到前层，LaCo在保持模型结构不变的情况下，能大幅减小模型大小，且在25-30%的修剪率下仍能保持超过80%的平均任务性能。这种方法无需特殊硬件，适用于大规模模型的优化。
本文是LLM系列文章，针对《LaCo: Large Language Model Pruning via Layer Collapse》的翻译。
摘要
基于transformer的大型语言模型（LLM）呈现出显著的规模扩展趋势，这给模型训练和推理带来了相当大的成本。然而，现有的方法，如模型量化、知识蒸馏和模型修剪，受到各种问题的约束，包括硬件支持的限制、对广泛训练的需要以及对模型内部结构的更改。在本文中，我们提出了一种简洁的逐层修剪方法，称为层折叠（LaCo），其中后部模型层折叠成前一层，从而能够在保持模型结构的同时快速减小模型大小。综合实验表明，在25-30%的修剪率下，我们的方法保持了80%以上的平均任务性能，显著优于现有的最先进的结构化修剪方法。我们还进行了后训练实验，以证实所提出的修剪方法有效地继承了原始模型的参数。最后，我们从逐层相似性的角度讨论了我们的动机，并评估了修剪LLM在不同修剪比率下的性能。
已下架不支持订阅
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
