Transformer

通俗地理解Transformer

处理词语的方式：传统的方法可能是逐个词地处理，就像阅读一本书，一次只看一个词。但是Transformer不同，它可以同时看很多次，就像是一眼能看到整个句子。

关注重要的地方：Transformer特别擅长关注句子中不同的部分，就像我们读文章时，可能会注意标题、关键词、或者句子中的重要信息。这使得它能理解上下文。

学会表达：它可以学会怎么更好得表达一种语言，就像是一个能自动学语言的机器。这样，我们就可以用它来翻译、写文章，甚至是回答问题。

多任务处理：Transformer可以同时处理很多不同的任务，就像是一个多才多艺的人。这让它在各种语言处理任务上都表现得很好，比如翻译、问答等等。

记得顺序：虽然它能够一次性看到整个句子，但为了理解语言的顺序，它学会了一些特殊的技巧，就好像是在读书时能够感受到故事情节的发展。

        总的来说，Transformer就是一种能够理解和生成语言的强大工具，它的出现让计算机在处理语言时变得更加聪明和灵活。你就可以想象它是一个懂得语言学的机器人，能够在各种语言任务上发挥自己的才华。

Transformer中Self-Attention

tranformer原论文的标题是Attetion is All You Need。

Transformer本质在解决什么事情？

tranformer其实就是一个特征提取器。输入数据经过transfomer，提好特征输出出来就完事了。

计算机本身喜欢有特色的有波澜起伏的特征。Transfomer把平平无奇的特征转移成一些有特点信息，再交给计算机去识别和数据分析。

NLP转移到CV

把图像数据转换成序列，就可以直接往transformer里套用。

出道即巅峰

简单的结构就能达到传统CNN当中很多层的结果

backbone

新一代的backbone，传统的都用的transfomer。