深度学习模型之BERT的24个小模型源码与预训练紧凑模型的重要性

原始信息

• 论文： Well-Read Students Learn Better: On the Importance of Pre-training Compact Models
• 作者：Iulia Turc, Ming-Wei Chang, Kenton Lee, Kristina Toutanova
• 地址：arxiv.org/pdf/1908.08…
• 中文：阅读良好的学生学得更好：关于预训练紧凑模型的重要性
• 源码：见微小BERT模型的源码地址章节

目前24个较小的BERT模型的发布版本，现在只有英语，采用WordPiece掩码。
笔者翻译水平有限，有误之处请指正，万分感激。

摘要

自然语言表征模型的最新发展伴随着庞大而昂贵的模型，这些模型通过自监督的预训练的方式来利于通用领域文本。 由于应用此模型的下任务的成本，关于预训练的语言表征模型的几个压缩技术已经被提及(Sun等.,2019a;Sanh,2019) 。 然而，令人惊讶的是仅预先训练和微调紧凑型模型的简单基线已经被忽视。 在文本中，我们首先展示了较小体系架构中保留预训练的重要性，而且微调预先训练的紧凑模型可以与并行工作中提出的更精细的方法相竞争。 从预训练凑型模型开始，我们将探索通过标准知识提取从大的微调模型中转移任务知识，由此产生的简单、有效且通用的算，将给预训练提取带来更多的提升。通过广泛的实验，我们更加普遍的探索了在两个研究不足的变量(模型大小与未标记任务的数据属性)下在预训练与提取之间的相互作用。我们有一个让人吃惊的发现，即使是按序给相同的数据，他们仍然会产生复合效应。为了加快未来的研究，我们公开了24个预训练的微小BERT模型.

介绍

在通用领域文本语料库上的自监督学习，最终任务学习是实现基于深度和广度Transforme网络的两阶段训练方法（Vaswani等.,2017）来促进语言理解（Devlin等，2018；Sun等，019b；Sun等，2019b；Liu等，2019）。然而，最先进的模型有数亿个参数，计算成本很高。我们的目标是在有限的内存和延迟预算下有收获。我们寻求一个性能良好，通用且简单的训练方法，能够利用额外的资源，例如未标记的任务数据。

在考虑压缩技术之前，我们先从以下问题开始：我们能使用同样的两阶段方法训练较小模型么？换一句话说，我们探索了将语言模型预训练和任务微调直接应用于紧凑模型的想法。到目前为止，这个简单的基线一直被NLP社区所忽视，这可能潜在于这样的一个假设，当焦点集中在最终任务而不是通用语言模型的目标时有限能力的紧凑模型会得到更好的资本化。与我们一起提出了标准预训练+微调程序的变体的也有，但通用性有限（Sun等人，2019a；Sanh，2019）。我们惊喜的发现，在最初的公式中进行预训练+微调是构建紧凑模型的一种有竞争力的方法。

从这里开始，我们把它称为预训练提取(PD) 如上图。PD优于预训练+微调（PF）基线，尤其是在存在用于蒸馏的大转移集的情况下。特别是在提取大型转移设置的情况下。 在一项对照研究中，遵循并行工作中的数据和模型架构设置，我们展示了预训练蒸馏优于或具有更精细方法的竞争力，这些方法使用更复杂的任务知识提取（Sun等，2019a）或从未标记文本中进行更复杂的预训练（Sanh，2019）时。前者从中级教师激活中提取任务知识，从启发式初始化的学生开始。