weixin_47728827的博客

主要是参考复旦大学6月多出的这篇A Survey of Transformers，然后自己整理记录下。0.预备知识：什么是transformer论文首先讲了下transformer，然后我稍微做下回顾。transformer的结构来自《attention is all your need》链接：[https://arxiv.org/abs/1706.03762](https://arxiv.org/abs/1706.03762) ...

这个我需要做一个详细的了解，因为后边的所有模型都基于此去修改。代码出处：https://github.com/lucidrains/vit-pytorch论文自行百度。话不多说，先上图：看下代码的实现：1.参数的了解v = ViT( image_size = 256, patch_size = 32, num_classes = 1000, dim = 1024, # 每个向量的维度 depth = 6, # 就是上右图的L，就是用了几次这个Tr