【论文阅读】RSMamba：基于状态空间模型的遥感图像分类

【论文阅读】基于状态空间模型的遥感图像分类

RSMamba: Remote Sensing Image Classification with State Space Mode

遥感图像分类是各种理解任务的基础，在遥感图像解译中起着至关重要的作用

  

卷积神经网络(cnn)和变压器的最新进展显著提高了分类精度。然而，遥感场景分类仍然是一个重大挑战，特别是考虑到遥感场景的复杂性和多样性以及时空分辨率的可变性

本文介绍了一种新的遥感图像分类体系RSMamba

并结合了称为Mamba的高效、硬件感知的设计。它综合了全局接受场和线性建模复杂性的优点

为了克服vanilla Mamba只能对因果序列进行建模，不能适应二维图像数据的局限性

  

提出了一种动态多路径激活机制来增强曼巴对非因果数据的建模能力

但在多个遥感图像分类数据集上表现出优越的性能

  
  

一、介绍

遥感技术的进步极大地提高了人们对高分辨率地球观测的兴趣

遥感图像分类是遥感图像智能解译的基础，是后续工作的关键

  

研究人员一直在努力缓解这些挑战，提高模型在不同应用场景中的适用性

深度学习具有从数据中自主挖掘有效特征并以端到端方式输出分类概率的能力

  

主要可以分为cnn和注意力网络。前者通过二维卷积运算逐层提取图像特征，如ResNet所示。后者通过注意机制捕获整个图像局部区域之间的远距离依赖关系，从而实现更鲁棒的语义响应，以ViT、SwinTransformer等为代表

  
ET-GSNet将ViT丰富的语义先验提炼到ResNet18中，充分利用了两者的优势
  
分类精度在很大程度上取决于模型能否有效处理复杂多样的遥感情景和多变时空分辨率的影响。Transformer基于注意力机制，能够从整个图像的有价值区域获得响应，为这些挑战提供了最优解决方案
  
  

Mamba的发展过程：

状态空间模型(State Space Model, SSM)可以通过状态转移建立远距离依赖关系，并通过卷积计算执行这些转移，从而实现近线性的复杂性
  
Mamba通过将时变参数纳入普通SSM并进行硬件优化，证明了其训练和推理的高效率

Vim和VMamba成功地将Mamba引入二维视觉领域，在多个任务之间实现了性能和效率的良好平衡

  

本文介绍了一种高效的遥感图像分类状态空间模型RSMamba。由于其在整个图像中建模全局关系的强大能力

以减轻普通曼巴只能在单一方向建模和位置不可知的局限性
  

RSMamba的设计保留了原始Mamba区块的固有建模机制，同时在区块外部