Transformer在遥感上效果差？这完全是在胡扯！

【Transformer+遥感】是当前的研究热点，旨在通过Transformer模型强大的全局特征学习能力，提升遥感图像处理的性能。该研究方向通过引入Transformer架构，解决了传统卷积神经网络在遥感图像语义分割、变化检测等任务中对全局信息捕捉不足的问题。相关研究工作通过设计创新的模型和模块，如双解码器结构、输入变换模块等，增强了Transformer在处理高分辨率遥感图像时的特征提取和细节保持能力。

为了帮助大家全面掌握【Transformer+遥感】的方法并寻找创新点，本文总结了最近两年【Transformer+遥感】相关的15篇前沿研究成果，这些论文、来源、论文的代码都整理好了，希望能给各位的学术研究提供新的思路。

三篇论文解析

1、An attention-based multiscale transformer network for remote sensing image change detection

方法

• AMTNet框架：提出了一个基于注意力机制的多尺度变换器网络（AMTNet），用于高分辨率光学遥感数据的双时相变化检测。
• CNN-Transformer结构：利用CNN作为主干网络提取原始输入图像对的多尺度特征，然后使用注意力和变换器模块有效建模双时相图像中的上下文信息。
• 特征交换：通过部分交换两个Siamese分支之间的特征来弥合不同时间图像域之间的域差距。
• 空间注意力模块（SAM）：自动强调与变化区域相关的空间位置的重要信息。
• 通道注意力模块（CAM）：通过突出显示与变化分析密切相关的通道来增强特征表示。
• 多尺度CNN主干：使用ResNet作为主干网络，提取不同尺度的特征图。
• 损失函数：使用基于交叉熵损失的总体损失函数来优化CD任务。

创新点

• 注意力机制与变换器的结合：将空间注意力和通道注意力与变换器结构相结合，充分利用了ConvNets、变换器、多尺度处理和注意力机制的优势。
• 特征交换技术：通过特征交换技术，实现了不同时间图像域之间的有效域适应，有助于改善特征表示。
• 多尺度特征提取：通过使用不同尺度的特征图，AMTNet能够检测不同尺寸和类型的改变对象。
• 空间和通道注意力的集成：SAM和CAM的集成使得网络能够更加关注与变化区域相关的