dezwb的博客

论文要解决什么问题？现有主流视觉语言预训练架构有“二分法”：架构（比如CLIP、ALIGN）：图片和文本各自编码，适合检索任务推理快，但模态交互浅，难以解决像视觉问答等复杂推理任务。架构（如UNITER、ViLT）：深度图文融合，复杂推理效果好，但检索推理慢，计算量大。这两者各有优劣，缺少“一体化”方案能兼容速度与效果。核心主张或贡献是什么？提出统一视觉语言预训练模型VLMO，使用，让Transformer每层都能灵活切换图像专家、文本专家或图文专家，实现不同模态高效建模。

本文提出了一种基于纯Transformer架构的图像分类方法Vision Transformer（ViT），通过将图像分割为块序列并直接应用Transformer，突破了传统CNN在计算机视觉中的主导地位。实验证明，ViT在大规模数据预训练后，不仅能在ImageNet、CIFAR-100等基准任务上超越当时最优的CNN模型，还具备更高的计算效率。这一工作为视觉任务提供了全新的架构思路，展现了Transformer在跨模态应用中的强大潜力。

本文提出了一种基于ViT改进的Transformer，称为Swin Transformer，其可以和ViT类似将Transformer从语言领域调整为有差异的视觉领域。为了解决这些差异，本文提出了一种用Shifted Window计算的分层Transfomer，Shifted Window方案通过将自注意力计算限制在不重叠的局部窗口(W-MSA)，同时还允许跨窗口连接（SW-MSA），从而带来更高的效率。这种分层结构具有在各种尺度上建模的灵活性，并且具有相对于图像大小的线性计算复杂性。