【图像识别】Vision Transformer

一、Vision Transformer

Vision Transformer (ViT)将Transformer应用在了CV领域。在学习它之前，需要了解ResNet、LayerNorm、Multi-Head Self-Attention。

ViT的结构图如下：

如图所示，ViT主要包括Embedding、Encoder、Head三大部分。Class token、Position Embedding、Extract Class Token等部分会按照顺序穿插讲解。

1. Patch Embedding

由于多头自注意力是针对NLP提出的，它的输入尺度为$[batch\_size,num\_token,dim\_token]$，而CV中图像输入尺度通常为$[batch\_size,num\_channel,height,width]$，ViT通过Patch Embedding将其尺度转换至期望的形式。

如上图所示，假设一张图像的尺寸为 [ 3 , 224 , 224 ] [3,224,224]