文献记录 - ELECTRA: PRE-TRAINING TEXT ENCODERS AS DISCRIMINATORS RATHER THAN GENERATORS

文献地址：
PDF链接

主要内容：
electra模型的构思动机，预训练效率，微调效果。

摘要

1. bert预训练过程中使用的mlm学习词语表示，效果还是不错的，但是不仅需要的大量的数据，并且需要大量的算力。本文提出新的预训练方法叫做《replaced token detection》，可以更高效的利用数据。
2. 在mlm任务中的两个步骤：
   1 >> 随 机mask 15%的token，2 >> 预测这些token 。。。在本文中改为：1 >> 生成toekn替换原token， 2 >> 判断token是否被替换。
3. 同等算力准确率远超bert，gpt，roberta等模型，尤其是小模型的情况

背景介绍

1. 标题哪来的：

We call our approach ELECTRA for “Efficiently Learning an Encoder that Classifies Token Replacements Accurately.

2. MLM是怎么做的：
   随机选择15%的token mask，在去预测这些被mask的token。也就是说每个样本中只有15%的token得到训练。
3. 本文如何做：
   用一个小型mlm模型作为生成器，去生成一些token从而破坏输入数