Layer as Puzzle Pieces: Compressing Large Language Models through Layer Concatenation

文章核心总结与创新点

主要内容

本文针对大型语言模型（LLMs）因规模庞大导致的部署难题，聚焦结构化层剪枝技术的局限性，提出了名为CoMe的模型压缩框架。该框架通过通道敏感性度量、基于连接的层合并技术和分层蒸馏后训练流程，在减少模型参数（10%-30%稀疏度）的同时，最大限度保留模型性能。实验在7个LLM模型、7个NLP基准测试上验证，结果显示CoMe在剪枝后及后训练阶段均优于现有方法，例如剪枝LLaMA-2-7b 30%参数时，仍能保留83%的原始平均准确率。

核心创新点

1. 通道敏感性度量：结合激活响应强度和权重范数，量化单个通道的重要性，为细粒度剪枝提供依据。
2. 基于连接的层合并：通过拼接相邻层的关键通道重构紧凑融合层，而非线性权重聚合，减少信息丢失。
3. 分层蒸馏后训练：利用剪枝过程中建立的原始模型与剪枝模型层对应关系，通过解耦的逐层特征对齐实现高效知识迁移。
4. 渐进式剪枝流程：迭代执行通道选择与层合并，逐步降低模型复杂度，同时通过Skip-BI（SBI）分数识别对特征扰动最小的层组。

---

英文原文翻译（Markdown格式）

Abstract

大型语言模型在自然语言处理任务中表现出色，但庞大的规模导致其计算和存储需求极高。近年来的