qq_43602449的博客

前面回顾了一些序列模型（RNN等），然后引出了attention transformer的学习，有了transformer这个强大的基础结构，就衍生出了许多强大复杂的大型模型。其中Bert和GPT是两个典型的代表，也是NLP领域预训练模型的代表。 下面结合许多资料，先手写了一点笔记，后面会总结整合成电子博客...

**背景：**近期，CV领域很多任务上都采用了transformer系列模型，自己也对这个原来主要用于处理时序信息的模型很感兴趣，所以开始对transformer的学习。由于很长一段时间都是做机器学习和CV，对于NLP相关的序列模型也只是当初入门深度学习的时候稍微学了一下，这里要学transformer，感觉还是有必要从RNN开始复习的，然后逐步到attention注意力机制，然后transformer（transformer 可以说就是attention 的另一个名字吧）**文章内容：**整个文章首先