VIT 如何超越 CNN？

VIT（Vision Transformer）来自于google 的一篇文章《AN IMAGE IS WORTH 16X16 WORDS: TRANSFORMERS FOR IMAGE RECOGNITION AT SCALE》原文地址： https://arxiv.org/pdf/2010.11929.pdf 使用transfomer解决分类问题。

一说图像分类，大家想到的都是经典的CNN，Resnet，MobileNet

VIT是最近提出的模型2020年10月挂到av上面，2021年正式发表。在所有公开数据集上都超过了Res，前提是在大的数据集上做预训练，数据越大效果越好。transformer使用在NLP上的模型。在2017年 VIT本身没有新的地方，Transformer encode的网络。

VIT网络是什么：

1）分隔图片

将图片划分成大小相同patches

用户指定patch大小（16x16）stride（滑动窗口的步长），stride越小，分隔的pathes数量越大，计算量越大。论文中没有重叠分隔图片。重叠也可以。

2）向量化（vectorize）

数据向量化，降低维度。

3）</