＜论文＞如何构建一个更鲁棒的Bert？

一、摘要

        今天我们来聊一聊论文《RoBERTa: A Robustly Optimized BERT Pretraining Approach》。这篇论文提出了一种更优的Bert训练方案，并将该方案训练的模型称为——RoBERTa。

译文：

        语言模型的预训练已经带来了显著的性能提升，但不同方法之间的仔细比较仍然具有挑战性。训练过程计算量大，通常在不同规模的私有数据集上进行，并且正如我们将展示的那样，超参数选择对最终结果有显著影响。我们进行了一项BERT预训练（Devlin等，2019）的复现研究，仔细测量了许多关键超参数和训练数据规模的影响。我们发现BERT显著地训练不足，并且可以匹配或超过之后发布的每一个模型的性能。我们的最佳模型在GLUE、RACE和SQuAD上达到了最新的最先进结果。这些结果突显了之前被忽视的设计选择的重要性，并对最近报告的改进来源提出了质疑。我们发布了我们的模型和代码。

二、模型核心创新点

        RoBERTa模型在架构上仍然与Bert类似，同样都是多层Transformer模型编码器的堆叠。二者主要的区别在于预训练任务的设计，RoBERTa采用的动态掩码的机制