FoldGPT: Simple and Effective Large Language Model Compression Scheme

本文是LLM系列文章，针对《FoldGPT: Simple and Effective Large Language Model Compression Scheme》的翻译。

摘要

在不断升级的数据安全问题和云成本的推动下，在移动设备上部署大型语言模型 （LLM） 的需求不断增加。但是，网络带宽和内存限制为在移动设备上部署 10 亿级模型带来了挑战。在这项研究中，我们调查了不同尺度的 LLM 中不同层的输出，发现大多数层的输出表现出显着的相似性。此外，随着模型大小的增加，这种相似性变得更加明显，表明 LLM 的深度方向存在大量冗余。基于这一观察，我们提出了一种有效的模型体积压缩策略，称为 FoldGPT，它结合了块删除和块参数共享。该策略由三个部分组成：（1） 根据可学习的门控参数，我们确定区块重要性排名，同时对区块之间的耦合效应进行建模。然后我们根据给定的删除率删除一些多余的图层。（2） 对于保留的区块，我们采用了专门设计的 group 参数共享策略，其中同一 group 内的 block 共享相同的权重，从而显著压缩了参数的数量并略微降低了延迟开销。（3） 在共享这些 Block 后，我们通过少量的微调来“治愈”稀疏性引起的不匹配，并引入尾层蒸馏策略来提高性能。实验表明，FoldGPT 在高效模型压缩方面优于以前的最先进的 （SOTA） 方法，证明了通过直接删除块和参数共享实现模型轻量化的可行性。

1 引言

2 相关工作

3 方法

4 实验

<