17、超越BERT：文本排序模型的新探索

超越BERT：文本排序模型的新探索

1. 引言

在文本排序领域，BERT及其简单变体一直是主要的构建基础。然而，BERT虽效果出色，但速度较慢，在实际应用中需要大量硬件资源。因此，研究人员开始尝试超越BERT，探索其他变压器模型，以实现更好的有效性/效率权衡。

2. 知识蒸馏

知识蒸馏是一种将大型教师模型的知识转移到小型学生模型的技术，目标是让学生模型在特定任务上达到相近的效果，同时提高效率。

2.1 知识蒸馏在文本排序中的应用

研究人员研究了将大型训练好的BERT模型蒸馏成较小的基于BERT的模型，以提高BERT的效率。常见的蒸馏目标是学生模型和教师模型的对数似然之间的均方误差。学生模型可以通过交叉熵损失和蒸馏目标的线性组合进行微调，整体损失公式如下：
[L = \alpha \cdot L_{CE} + (1 - \alpha) \cdot ||r_t - r_s||^2]
其中，(L_{CE})是交叉熵损失，(r_t)和(r_s)分别是教师模型和学生模型的对数似然，(\alpha)是超参数。

2.2 不同蒸馏方法的效果

Gao等人提出了三种蒸馏方法：
1. 直接应用蒸馏，让随机初始化的学生模型直接模仿已经微调好的教师模型（“排名器蒸馏”）。
2. 先对学生模型进行语言模型蒸馏，然后对学生模型进行相关性分类任务的微调（“语言模型蒸馏 + 微调”）。
3. 先进行语言模型蒸馏，再进行排名器蒸馏（“语言模型 + 排名器蒸馏”）。

实验结果表明，单独的排名器蒸馏效果最差；语言模型蒸馏后微调以及语言模型蒸馏后排名器蒸馏得到的