【论文阅读】FlipCAM：高分辨率遥感影像弱监督建筑物提取的特征级翻转增强方法

【论文阅读】FlipCAM：高分辨率遥感影像弱监督建筑物提取的特征级翻转增强方法

FlipCAM: A Feature-Level Flipping Augmentation Method for Weakly Supervised Building Extraction From High-Resolution Remote Sensing Imagery

为准确提取建筑物，深度神经网络需要收集大量的像素级标注，耗费大量时间

带有图像级注释的弱监督语义分割(WSSS)方法是一种有效的建筑物提取方法

  

问题：

• 图像级标签缺乏空间信息，导致建筑物提取存在部分完整性和空洞现象
• 遥感图像中复杂的背景会导致建筑物边界的提取不准确

  

提出了一种新的弱监督建筑提取方法FlipCAM来应对这些挑战。

基于特征级翻转增强的翻转模块通过融合原始和翻转特征图来提高CAM热图的完整性

通过将Flip模块与基于一致性架构的slice and merge (SAM)模块相结合

  

解决：

• FlipCAM能够端到端生成高质量的CAM热图，既具有边界精细度，又具有内部完整性
• 这也缓解了建筑物提取的特殊困难，包括密集建筑物中的粘连以及与背景和阴影的混淆，

  
  

一、介绍

从遥感影像中提取建筑物对于城市规划[1]、[2]、人口估算[3]、土地覆盖制图[4]等地理应用具有重要意义

论文是二值分割任务

我们在实际工作中依然是多类的语义分割

  

建筑物提取的主要目的是将遥感图像中的每个像元分配为建筑物或非建筑物标签

深度卷积神经网络(deep convolutional neural network, DCNNs)因其处理丰富数据的强大能力而被广泛应用于建筑物提取中

全卷积网络(FCN)可以充分利用像素间的空间上下文信息，通过CNN的接受场提取多层次特征

  

人们提出了许多不完全标注方法来提取遥感图像中的建筑物

图像级弱监督方法更具实用性和挑战性，因为其中图像级标注的成本最优

使得弱监督方法难以达到与完全监督语义分割(FSSS)方法相同的性能

  

图像级弱监督语义分割(WSSS)方法主要步骤：

• 训练具有图像级标签的分类网络，获得具有目标定位能力的类激活图
• 伪掩码由CAM热图生成，作为一系列后处理的粗建筑提取结果
• 利用伪掩码训练常规语义分割网络，提取细粒度建筑区域

  

于图像级标签严重缺乏边界信息和空间位置信息，与完全监督的像素级标签相比，伪掩码通常存在边界精细度不足和内部完整性不足