低吟浅笑

前言Attention Is All You NeedGoogle Brain 引用量：30255（1/3 ResNet）贡献：Transformer 是第一个完全依赖自注意力来计算其输入和输出表示而不是使用序列对齐的RNN和CNN。一直听别人说Transformer，搞不清楚是什么。可以不用，但是需要理解。但现有的博客，感觉大多轻飘飘的，甚至没讲清楚 attention 和 self-attention的区别，q，k，v表示什么意义，怎么引入等等。我这里做了一点小总结...

VIT探索了Transformer在图像识别中的直接应用。与在计算机视觉中使用自注意力的先前工作不同，除了初始patch提取步骤之外，不会将特定于图像的归纳偏差引入架构中。相反，将图像解释为一系列patch，并通过 NLP 中使用的标准 Transformer 编码器对其进行处理。这种简单但可扩展的策略在与大型数据集的预训练相结合时效果出奇地好。因此，Vision Transformer 在许多图像分类数据集上匹配或超过了现有技术，同时预训练成本相对较低。...