论文题目：Integrating Detailed Features and Global Contexts for Semantic Segmentation

最新推荐文章于 2026-01-06 15:54:49 发布

原创最新推荐文章于 2026-01-06 15:54:49 发布 · 829 阅读

19 ·

CC 4.0 BY-SA版权

文章标签：

#计算机视觉

WUTCM-Lab发表的论文专栏收录该内容

5 篇文章

订阅专栏

论文题目：Integrating Detailed Features and Global Contexts for Semantic Segmentation in Ultrahigh-Resolution Remote Sensing Images

论文地址：IEEE Xplore
项目地址：WUTCM-Lab/MCSNet

摘要

超高分辨率遥感图像的语义分割是众多下游应用的核心任务。实现精确的像素级分类对于获得优质的分割结果至关重要。然而，处理复杂的分割边界并准确识别遥感图像中的小物体，使得这一任务更加具有挑战性。为了有效应对这些需求，集成全局上下文信息与空间细节特征显得尤为重要。为此，多级上下文感知分割网络（MCSNet）作为一种前沿的解决方案应运而生。MCSNet不仅能够有效建模全局上下文信息，还能提取复杂的空间细节特征，从而优化分割结果。

MCSNet的优势主要体现在其两个关键模块：空间细节特征提取（SDFE）模块和精细多尺度特征融合（RMFF）模块。此外，为了进一步提升MCSNet的性能，研究中采用了多任务学习策略，将边界检测与语义分割相结合，使得网络在分割能力上更加全面。通过在两个著名的ISPRS 2D语义标注数据集（Potsdam和Vaihingen）上进行的综合实验，MCSNet展现了卓越的表现，尤其在平均交并比（mIoU）和平均F1分数（mF1）等指标上，证明了其作为创新解决方案的显著地位。

Part.01 研究贡献

设计了MCSNet，这是一个专为语义分割任务构建的深度学习网络。MCSNet在执行精细多尺度特征融合（RMFF）时，能够有效整合全局上下文信息与空间细节特征的提取。
引入了空间细节特征提取（SDFE）模块，以增强编码器从超高分辨率（UHR）遥感图像中提取复杂空间细节信息的能力。
设计了RMFF模块，其中包含空间上下文多尺度融合（SCMF）模块和深度边界关注（DBCA）模块，专注于跨尺度整合编码器生成的特征图，实现深层全局上下文与浅层空间细节的有效融合。
对多种最先进的方法进行了全面比较分析，并对其输出特征图进行了可视化，以深入理解这些方法的有效性和局限性。

Part.02 模型结构

文章的编码器由Cswin Transformer主干网络组成，负责提取层次丰富的深层语义特征。MCSNet的主干网络采用CSWin Transformer（Criss-Cross Window Transformer），这是一种新型的视觉Transformer架构，旨在有效捕捉图像中的长程依赖关系和全局上下文信息。CSWin Transformer通过引入交叉窗口的自注意力机制，能够平衡计算效率和捕获丰富特征之间的关系，适合用于复杂的图像处理任务，特别是超高分辨率遥感图像的语义分割。

在Cswin Transformer的基础上，设计了SDFE模块，SDFE模块被用来从大尺寸浅层特征图中捕获复杂的信息。解码器部分采用DBCA模块，以对多尺度聚合后的特征图执行冗余特征抑制和有效特征增强。在编码器和解码器之间采用了SCMF模块进行特征融合，对浅层特征图进行不同级别的下采样，提取多尺度的空间细节信息。SDFE模块专注于捕捉UHR图像中的细节特征，确保在下采样过程中尽量减少信息损失。 SCMF模块和DBCA模块合称RMFF模块，主要用于优化不同尺度特征的融合，提升模型对复杂边界和尺度变化的适应能力。

下图为模型结构

图一文章主体模型MCSNet

图二 SDFE模块

SDEF模块（空间细节特征提取模块）对Cswim Transformer的浅层特征和深层特征进行特征融合，来进一步捕捉可能丢失的细节信息，旨在增强模型从超高分辨率遥感图像中捕获空间细节信息的能力。该模块通过精细的特征提取策略，确保在下采样过程中尽量减少信息损失，从而提升图像语义分割的精度。

图三 RMFF模块

RMFF（Refined Multiscale Feature Fusion）模块是MCSNet中的关键组件，旨在优化不同尺度特征的融合，以提升超高分辨率遥感图像的语义分割性能。通过有效集成来自不同层次的特征信息，RMFF模块能够增强模型对复杂场景的理解和处理能力。RMFF模块由SCMF模块（空间上下文多尺度融合模块）和DBCA模块（深度边界特征增强模块）两个模块组成。SCMF模块主要工作流程包括特征图输入接收来自不同层次的特征图，这些特征图包含丰富的空间上下文信息；特征下采样和上采样：通过下采样和上采样操作，调整特征图的尺寸，以便于融合各尺度的信息；特征融合：整合不同层次的特征，形成一个包含多尺度上下文信息的综合特征表示。DBCA模块的主要特点包括包括边界特征提取、深度上下文增强以及冗余特征抑制。

通过优化多尺度特征的融合，RMFF不仅增强了模型对复杂边界、细节特征的适应能力，还提高了语义分割的整体效果。它的设计确保了在处理超高分辨率遥感图像时，模型能够有效整合全局上下文信息和细致空间特征，从而实现更高的分割精度和更好的性能表现。

Part.03 数据集

这篇文章使用了两个国际摄影测量与遥感学会（ISPRS）2-D 语义标注数据集：Potsdam 和 Vaihingen 数据集。文章使用了 Potsdam 和 Vaihingen 数据集， Potsdam数据集总共包括38个图像，每个图像的尺寸为6000 × 6000 pixels，共有六个不同的对象类别； Vaihingen数据集共包括33幅3通道航空图像，每张图像尺寸约为2100 × 2100 pixels，主要包含建筑物、道路、草地等六个类别。

这两个数据集不仅为MCSNet的训练和测试提供了基础数据，还在实验中发挥了重要作用。通过在Potsdam和Vaihingen数据集上的综合实验，MCSNet得以展示其出色的分割性能，特别是在复杂场景和细小物体的处理上。这些数据集的选择确保了模型的有效性和泛化能力，使其在实际遥感图像分割任务中具有广泛的应用潜力。

Part.04 实验结果

论文中的实验结果显示，多级上下文感知分割网络（MCSNet）在Potsdam和Vaihingen数据集上表现出色。与多种最先进的方法进行比较，MCSNet在平均交并比（mIoU）和平均F1-score（mF1）等指标上均达到了最优性能。具体而言，MCSNet在复杂场景和边界检测任务中展现了强大的能力，验证了其有效整合全局上下文信息和细致空间特征的优势。此外，实验还分析了不同模块的贡献，进一步强调了SDFE模块和RMFF模块在提升分割精度方面的重要作用。这些结果表明，MCSNet在遥感图像的语义分割任务中具有很强的应用潜力。实验结果如下表所示：

表一 Potsdam数据集的定量比较实验结果

表二 Vaihingen数据集的定量比较实验结果

消融实验

消融实验文章还进行了消融实验，以充分验证MCSNet的设计思路和各个组件的有效性。与基准实验相比，SDFE模块和RMFF模块在两个数据集上都带来了不同程度的性能提升。

表三各个模块的效果提升

Part.05 研究展望

研究展望未来的工作将集中在进一步优化多级上下文感知分割网络（MCSNet）的性能，特别是在处理复杂场景和高密度目标方面。此外，研究将探讨将MCSNet应用于其他遥感图像类型和不同语义分割任务的可能性，以验证其通用性。同时，结合新兴深度学习技术，如自监督学习和生成对抗网络，可能会提升特征提取和语义分割效果。此外，深化多任务学习方法，以优化边界检测和语义分割之间的协同效应，也是未来研究的一个重要方向。最终，探索MCSNet在实时遥感图像处理中的应用，将有助于提高其实用性和效率。