(BERT蒸馏)TinyBERT: Distilling BERT for Natural Language Understanding

文章链接：https://arxiv.org/abs/1909.10351

背景

在自然语言处理（NLP）领域，预训练语言模型（如BERT）通过大规模的数据训练，已在多种NLP任务中取得了卓越的性能。尽管BERT模型在语言理解和生成任务中表现出色，其庞大的模型尺寸和高昂的计算成本限制了其在资源受限环境下的应用。

挑战

BERT等大型模型的计算成本高，不适合在移动设备或低资源环境中部署。因此，急需一种能将大型模型的能力转移到更小、更高效模型上的技术，这种技术被称为“知识蒸馏”。知识蒸馏的挑战在于如何在减小模型尺寸的同时，尽可能保留原模型的性能。

方法

TinyBERT学习框架

TinyBERT通过以下步骤实现BERT的知识蒸馏：

1. Transformer蒸馏方法：针对Transformer基础的模型设计了一种新的知识蒸馏方法，旨在将大型BERT模型中编码的丰富知识有效转移到小型TinyBERT模型。

2. 两阶段学习框架：TinyBERT采用了一种新颖的两阶段学习框架，包括预训练阶段和具体任务学习阶段的蒸馏，确保TinyBERT模型不仅能捕获通用领域知识，还能捕获特定任务知识。

3. 数据增强和多样性：为了进一步提高TinyBERT在特定任务上的性能，引入数据增强技术，通过扩展训练样本来增加模型的泛化能力。

损失计算