SimonSmile的博客

文章链接：https://www.aclweb.org/anthology/2020.acl-main.740.pdf 背景：预训练 在正式开始阅读论文之前，我们必须要理解nlp中语言模型的“预训练(pretraining)”。 我们知道，文本是不能直接输入神经网络的，因此需要找到关于文本的合理的数学表示方法，能将文本映射为向量，这些向量应该要包含文本的语法和语义信息，然后再将这些向量输入到下游任务的神经网络中进行训练。 因此，从2018年开始（这个时间点是论文里说的...），nlp的模型训练.