人类语言处理nlp部分笔记——二、BERT和它的家族-介绍和微调

参考自李宏毅课程-人类语言处理

二、BERT和它的家族-介绍和微调

1. What is pre-train model

这里所说的pre-train model是输入一串tokens，能够输出一串vectors，且每个vector可以表示对应的语义的模型，这些vectors也被称作为embeddings。以前常用的模型有word2vec，Glove等，这里并没有详细介绍，之后需要单独去看，由于英文单词太多了，只要来一个新单词，整个embedding的模型就需要重新train，为了解决这个问题，有了fasttext。fasttext是针对英文的，针对中文的则是输入图片，让模型通过图片中文字的偏旁部首去预测出训练时没见过的文字的embedding。这种训练embedding的方式，根据语言的不同会有不同的方法。

但是有一个问题，如果输入的token是一样的，那么每次出来的vector也一样，所以希望模型可以在输入某个token的embedding的时候，考虑上下文信息，这叫做contextualized word embedding。这样的模型基本就是基于LSTM或者self-attention layer去搭建的一个seq2seq的模型（如Bert，Megatron，Turing NLG等），可以理解为encoder。

为了让模型效