qq_41956697的博客

paper: https://arxiv.org/abs/2103.14030code: https://github.com/microsoft/Swin-Transformer将Transformer从NLP领域迁移到CV领域面临两个挑战：1.与文本相比图像中的视觉实体尺度变化剧烈，NLP的scale是标准固定的，而CV的scale变换范围非常大。2.图像分辨率高，带来了多尺度建模与计算量巨大的问题，CV中使用Transformer的计算复杂度是图像尺度的平方。因为存在这两个问题，所以iGPT