超级会员免费看
这篇EMNLP2020论文探讨了在没有原始训练数据的情况下进行知识蒸馏，提出了一种两阶段的对抗自监督无数据蒸馏(AS-DFD)方法。该方法利用教师模型生成合成数据，通过学生模型的自监督学习传递知识。实验展示了这种方法在不使用原始数据集时也能有效地训练学生模型。
这是一篇非常有趣的论文。大多数KD（知识蒸馏）算法，尤其是在NLP中，都依赖于原始训练数据集的可访问性，而原始训练数据集可能由于隐私问题而不可用。为什么有些知识会不可用？比如，GPT2还没有公布训练数据，只有已经调优的模型；又或者GPT3训练的数据量级太大，普通人（穷逼）根本没办法存储、使用。
因此文本探究了如何在没有训练原始数据的情况下进行知识蒸馏。注意这里没有原始数据，但是已经有很好拟合原始数据的模型了，也就是Teacher模型。具体来说，提出了一种新颖的两阶段无数据蒸馏方法——对抗自监督无数据蒸馏(对抗式自监督无数据蒸馏，AS-DFD)，该方法用于压缩大型基于变压器的模型。首先，需要根据已经调优的Teacher模型，由标签反向生成连续服从高斯分布的embedding作为合成数据，然后用学生模型的自监督训练适应这些合成数据。通过对这些伪样本的拟合，将知识从教师模型传递给学生模型。
这样以来，模型就从数据中解放出来，因为使用的数据是合成数据。
Methods
模型总体框架如图：
订阅专栏 解锁全文
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
