AcceptGo的博客

架构如下：输入图片分割为16×1616 \times 1616×16的，并做操作。然后在前面添加，并和做和，之和作为全连接层的输入。生成的张量首先传递到标准，然后传递到，流程就此结束了。我们从上至下逐块实现。首先，我们需要一张图片：然后，对图片进行处理：第一步执行如下图的操作：把分割为，然后将其。这一部分对应论文中如下内容：通过完成：接着，使用标准线性层进行映射：这里通过创建类，保证代码质量和可读性。这里需要注意的是，原始作者使用的是而不是来提高性能。者通过使用和等价于。直观上，卷

论文：https://arxiv.org/abs/2010.11929Code：https://github.com/google-research/vision_transformertimm：https://github.com/rwightman/pytorch-image-models/blob/master/timm/models/vision_transformer.pyPublish：ICLR2021

文章目录Abstract1 Introduction2 Background3 Model Architecture3.1 Encoder and Decoder Stacks3.2 Attention3.2.1 Scaled Dot-Product Attention3.2.2 Multi-Head Attention3.2.3 Applications of Attention in our Model3.3 Position-wise Feed-Forward Networks3.4 Embeddin