weixin_63091390的博客

由谷歌团队在ICLR 2021提出，类似于BERT。ViT是Encoder-only结构，并不是目前流行的Decoder-only结构。据此，ViT主要用于提取图像特征，其思想简单有效且具有良好的扩展性，被视为Transformer在计算机视觉领域应用的重要里程碑之一。的架构仅包含Transformer的编码器(Encoder)部分，而不包含解码器(Decoder)部分，与目前广泛应用于文本生成等任务的仅包含解码器的Decoder-only结构不同。：如ViT，只由编码器构成。

总结来说，解码器中的自注意力和交叉注意力共同工作，使得模型在生成序列时能够考虑到输入序列和之前生成的输出序列的信息，从而提高生成文本的质量和相关性。在Transformer模型中，Q（Query）、K（Key）和V（Value）是自注意力机制的核心组成部分，它们是通过对输入序列的词嵌入进行线性变换得到的。： 解码器中的自注意力层首先处理解码器的输入序列。帮我们整合了特征，以上图为例，一号特征和二号特征，二号特征表示更加明显，让我们平平无奇的特征变成一个很有特点的特征，让模型能学的更好的特征。