Swin Transformer自学笔记（自留看）

---

前言

论文链接：https://arxiv.org/pdf/2103.14030.pdf

层次化 (hierarchical) Transformer 移位窗口 (Shifted Windows)

一、回顾一下VIT

二、Swin Transformer

1.结构图

特征图逐渐变小，通道数逐渐变大，对应的感受野逐渐变大，通过类似CNN分层的结构扩大了感受野，模型加深后可以获得关于图片的更多的信息。

分成一个个7×7的小窗口，但是每个小窗口都是独立的，互相不通信，会导致损失掉很多的信息，会非常影响精度，所以作者提出了一个很好的方法，就是**移位窗口** (Shifted Windows)。

2.Shifted Windows

就是 有一个窗口 进行移动，移动后，窗口外面的补充到窗口空白处，然后再划分4×4，这样新划分的4×4窗口的第一个窗口，就同时拥有了原始四个窗口的信息，实现信息交互。

总结

最烦做笔记了 啥也记不住 算了就这样吧