【BERT】BERT模型压缩技术概览

关注

原创最新推荐文章于 2026-06-19 11:09:15 发布 1.8k 阅读 AI 写同款· GEO 优化 ›

Bert/Transformer模型压缩与优化加速前言 Bert/Transformer结构及其变体，已成为自然语言处理 (NLP)、语音识别 (ASR)等领域的主流序列建模结构。并且，相比于卷积操作的局部特征提取能力、以及平移不变性，Self-attention的全局Context信息编码能力，能够使视觉模型具备更强的特征表达能力、与领域适应性。因此在计算机视觉领域，Vision Transformer结构也日益流行、方兴未艾。然而，Transformer模型的高计算复杂度与参数量，限制了模型的推理部署（包括服务端与移动端应用），其计算、存储与运行时内阅读详情

由于BERT参数众多，模型庞大，推理速度较慢，在一些实时性要求较高、计算资源受限的场景，其应用会受到限制。因此，讨论如何在不过多的损失BERT性能的条件下，对BERT进行模型压缩，是一个非常有现实意义的问题。

本文先介绍模型压缩的概念及常见方法；随后，对目前出现的BERT剪枝的技术做一个整体的介绍。在后面的文章中，挑选一些典型的例子再进行深度的介绍。

作者&编辑 | 小Dream哥

1 模型压缩

所谓模型压缩，就是在尽可能不改变模型效果的情况下，减少模型的尺寸，使得模型有更快的推理速度。

随着深度学习技术越来越多的得到应用，模型压缩越来越受到重视，因为当模型的准确度达到一定程度后，如何用更少的硬件成本去达到相同的效果，就变得很有价值；另一方面，随着深度学习模型变得越来越“大”，在很多涉及边缘计算的嵌入式设备中部署就变得困难，模型压缩就变成一个必须的事情。

目前，模型压缩主要有4种方法，包括如下：

1.parameter pruning and quantization

参数剪枝(parameter pruning)，顾名思义，就是对模型的参数进行删减；

量化(quantization)是一种通过降低数值精度来提高模型推理速度的方法，例如将通常的64位浮点型，转化为16位浮点型进行运算。

2.low-rank factorization

通过低秩因式分解，将参数矩阵分解成两个较小矩阵的乘积来逼近原始参数矩阵，降低模型的参数量，ALBERT中就用了这种方法。

3.transferred/compact convolutional filters

设计特殊结构的卷积滤波器以减少存储和计算的复杂度。

4.knowledge distillation

知识蒸馏，即先训练一个大模型得到较好的效果；再设计和训练一个小模型来获得与大模型相当的效果。

[1] Cheng Y , Wang D , Zhou P , et al. A Survey of Model Compression and Acceleration for Deep Neural Networks[J]. 2017.

[2] Cheng J , Wang P S , Gang L I , et al. Recent advances in efficient computation of deep convolutional neural networks[J]. Frontiers of Information Technology & Electronic Engineering, 2018, 19(01):64-77.

[3] Liu Z , Sun M , Zhou T , et al. Rethinking the Value of Network Pruning[J]. 2018.

[4] Frankle J , Carbin M . The Lottery Ticket Hypothesis: Finding Sparse, Trainable Neural Networks[J]. 2018.

2 BERT模型压缩

BERT模型的参数量巨大，这导致几乎没有BERT或者 BERT-Large 模型可直接在GPU及智能手机上应用，因此模型压缩方法对于BERT的未来的应用前景非常有价值。下面介绍一些BERT模型压缩的工作，可作参考。

(1) BERT剪枝

去掉BERT中不必要的部分，剪枝的内容包括权重大小剪枝、注意力剪枝、网络层以及其他部分的剪枝等。还有一些方法也通过在训练期间采用正则化的方式来提升剪枝能力（layer dropout）。

BERT模型包括输入层（嵌入层），self-attention层，feed-forward等，针对BERT系列模型的结构，可采取的剪枝策略如下：

1）减少层数

在BERT模型的应用中，我们一般取第12层的hidden向量用于下游任务。可以根据不同的任务，接不同层进行finetune。

2）维度剪枝[1]

可以通过因式分解等方法，降低BERT隐藏层的维度，从而降低BERT的参数量。

3）Attention剪枝

在多头注意力中，每头维度是64，最终叠加注意力向量共768维。有研究[2]表明：在推理阶段，大部分头在被单独去掉的时候，效果不会损失太多；将某一层的头只保留1个，其余的头去掉，对效果基本不会有什么影响。

[1] Compressing BERT: Studying the Effects of Weight Pruning on Transfer Learning

[2] Are Sixteen Heads Really Better than One?

[3] Pruning a BERT-based Question Answering Model

[4] Reducing Transformer Depth on Demand with Structured Dropout

[5] Reweighted Proximal Pruning for Large-Scale Language Representation

2) BERT权重因子分解

通过低秩因式分解，将参数矩阵分解成两个较小矩阵的乘积来逼近原始参数矩阵，降低模型的参数量。最典型的就是ALBERT模型，其提出者认为，词向量只是记忆了相对少量的词语的信息，更多的语义和句法等信息时由隐藏层记忆的。因此，他们认为，词嵌入的维度可以不必与隐藏层的维度一致，可以通过降低词嵌入的维度的方式来减少参数量。

感兴趣的同学看这篇博文详细了解ALBERT的内容：

【NLP】ALBERT：更轻更快的NLP预训练模型

[1] Structured Pruning of Large Language Models

[2] ALBERT: A Lite BERT for Self-supervised Learning of Language Representations

3）BERT知识蒸馏

知识蒸馏的本质是让超大线下teacher模型来协助线上student模型的训练，本质上是一种超大模型的知识迁移过程。

对Bert的知识蒸馏，研究的是如何将一个大型网络的泛化能力，迁移到一个相对小型的网络，从而达到以下两个目标：

1) 不需要从零开始训练小模型；

2) 蒸馏学习得到的模型效果优于直接训练。

理论上来说，模型在训练的时候需要尽可能多的神经元连接，而一旦训练完成，其中的部分连接其实是冗余的，可以用一个相对紧凑的结构来代替。