69 BERT预训练_by《李沐：动手学深度学习v2》pytorch版

系列文章目录

---

---

NLP里的迁移学习

1. 之前是使用预训练好的模型来抽取词、句子的特征，例如 word2vec 或语言模型这种非深度学习的模型
2. 一般抽完特征后，在做迁移学习时不更新预训练好的模型
3. 迁移学习前做好的工作所抽取的特征是个比较底层的特征，一般当作embedding用，做自己的工作时需要构建新的网络来抓取新任务需要的信息。之前的工作，比如Word2vec忽略了时序信息，语言模型只看了一个方向，RNN不好处理特别长的序列，所以他也就看了很短的一段东西而已。

Bert的动机

想研发相似于CV方面的，基于微调的NLP模型，除了输出层，其他层的参数我是可以复用的，我可以挪到其他任务中去。
预训练的模型抽取了足够多的信息
新的任务只需要增加一个简单的输出层

Bert架构

Bert从结构上来讲就是一个只保留了编码器的Transformer，创新很简单，后面在输入和$Loss$