《MobileBERT: a Compact Task-Agnostic BERT for Resource-Limited Devices》（ACL-2020）论文阅读

前言

• 论文地址：https://arxiv.org/abs/2004.02984
• 代码地址：https://github.com/google-research/google-research/tree/master/mobilebert

Abstract

提出 MobileBert 来压缩和加速 Bert 模型。

1、Introduction

MobileBERT 采用的和 BERT-large 一样深的层数，在每一层中的 transformer 中加入了 bottleneck 机制使得每一层 transformer 变得更窄。那么 bottleneck structures 是个什么东西呢？看下面这个图：

其中 a 是bert，从图中可以看出，多了两个全连接层，就是图中的矩形，这个就是作者说的bottleneck structures。它的主要作用是调整输入输出维度。

2、Related Work

过。

3、MobileBert

3.1、Bottleneck and Invert