Multi-level Feature Fusion Networks with Adaptive Channel Dimensionality Reduction for Remote Sens

最新推荐文章于 2025-02-20 10:14:21 发布

原创

最新推荐文章于 2025-02-20 10:14:21 发布 · 874 阅读

4 ·

CC 4.0 BY-SA版权

提出一种基于自适应信道降维的多级特征融合网络（ACR-MLFF）用于遥感场景分类。通过ResNet-50提取多层次特征，然后采用自适应信道降维（ACR）模块减少信息丢失，结合多级特征融合（MLFF）模块提高分类效果。实验表明，该模型在精度和稳定性上优于现有先进方法。

基于自适应信道降维的多级特征融合网络用于遥感场景分类

由于高分辨率遥感图像内容复杂多样，对其进行分类是一项具有挑战性的工作。最近，卷积神经网络(CNNs)被用来解决这一任务。然而，由于VHR图像中存在杂波和小目标，cnn不能完全满足场景分类的需要。为了解决这些问题，本文提出了一种新的自适应信道降维的多级特征融合网络用于遥感场景分类。针对高维特征，设计了一种自适应信道降维方法。在此基础上，引入多级特征融合模块，实现了特征的高效融合。在三个广泛使用的数据集上的实验表明，我们的模型在精度和稳定性方面优于几种先进的方法。

主要贡献：

1)提出了一种充分利用深度卷积神经网络多层次特征的自适应通道降维多级特征融合网络(ACR-MLFF)，用于遥感场景分类。

2)提出了一种自适应信道降维(ACR)模块，解决了1× 1卷积信道降维带来的信息丢失问题。它包含一个用于降维的主干分支和两个用于增强通道注意和补充语义信息的侧分支。自适应是通过顶部分支的通道注意计算来重新加权特征来实现的。

3)设计了多级特征融合(MLFF)模块，将多级特征和自适应信道缩减特征结合起来，对复杂场景进行分类。

图2给出了本文提出的遥感场景分类方法的总体架构。可以看出，该方法主要由4个模块组成:1)采用预训练的ResNet-50模型进行多级特征提取;2) ACR;3) MLFF;4)采用softmax分类器进行场景分类。这个框架的细节如下所述。

A .多层次特征提取

本文选择ResNet-50作为特征提取器，因为ResNet-50具有很强的从不同层次提取特征的能力，例如浅层提取基本特征，高层提取复杂特征，避免了反向传播过程中梯度消失的影响。在ResNet-50的特征提取过程中，一般将生成相同大小特征图的层定义为一个阶段，共分为五个阶段，如图2所示。因为“Stage 1”只包含一个大小为7 *7的卷积层，所以我们不使用它的输出作