基于gan和孪生网络框架，利用双时间光学遥感图像绘制滑坡清单Landslide Inventory Mapping Using Bi-Temporal Optical Remote Sensin

Landslide Inventory Mapping Using Bi-Temporal Optical Remote Sensing Images Remote Sensing Images

基于gan的Siamese框架，利用双时间光学遥感图像绘制滑坡清单

 

下载： https://ieeexplore.ieee.org/abstract/document/9042318

Published in: IEEE Geoscience and Remote Sensing Letters ( Early Access )

大类：工程技术2区，小类：三区（遥感）

202005 中国地质大学

中国地质大学海洋科学与技术学院

武汉大学遥感与信息工程学院

landslide inventory mapping (LIM)

 

目录

Landslide Inventory Mapping Using Bi-Temporal Optical Remote Sensing Images Remote Sensing Images

摘要：

Introduction:

METHODOLOGY

A. Conditional GAN for Domain Adaptation

B. Siamese Network for Landslide Detection

C. Training Objective and Testing Detail

D. Implementations

III. EXPERIMENTS

IV. CONCLUSION

---

 

摘要：

受变化检测方法启发，采用双时相光学遥感影像进行滑坡检测：区分变化区域和不变区域，以及在变化区域之外进行滑坡检测。

由于滑坡的复杂性和不确定性，用简单的模型很难同时分离变化和未变化的滑坡区域。因此我们在孪生网络中引入了GAN，用于滑坡清单绘制。GAN-based Siameseframework (GSF)

       GSF包括两个级联的模块：领域自适应模块和滑坡检测模块。前者通过对抗性学习（GAN）对滑坡前、滑坡后图像进行跨域映射，然后将成对的图像翻译为同一域，以抑制双时遥感图像的域差异。与此同时，后一个模块的目标是利用Siamese模型进行像素级滑坡检测。

这种方法不需要预处理或者后处理。

大量的实验和与其他先进方法的比较验证了我们的方法的效率和优越性。

 

Introduction:

       滑坡的成因；滑坡的危害及检测意义；

       以前的工作；大多数从变化检测方法演进而来的滑坡清单绘制（LIM）方法大致分为两类：基于图像差异和基于后分类。(image difference based and post-classfication based.)

       前者对图像对进行预处理，将差分图（difference map）作为输入的特征图进行后续的滑坡检测。接着介绍了相关工作。（CVA, Markov random field (CDMRF), FCMs）

       通常，基于图像差异的方法不仅能有效地减少噪声和信息冗余的负面影响，而且能很好地利用双时间图像之间的结构化和相关信息。然而，差异图像本身明显失去了对地面目标的内在表征，给后续的滑坡检测带来了更多的模糊和不确定性。

       而基于后分类的方法则直接在原始的双时间图像上提取特征，然后通过对特征图的对比来检测滑坡区域。介绍了相关工作（SVM,2D-CNN(孪生网络？or 拼接？), GAN(拼接为多通道图像送入GAN，产生预测的变化图。)，DSCN(深度卷积孪生网络，设计contrastive loss)）

值得注意的是，基于后分类的方法需要具有高代表性和探究能力(high representative and explorative capabilitie)的模型。因此，采用深度学习技术通常是这类方法的主流。

虽然以上工作取得了不错的进展，但是没有一个方法将滑坡检测视为一个单纯的变化检测任务。这样图像中存在的其他变化可能会被误视为滑坡变化（比如路，运河，植被变化等），使LIM性能不理想。

因此，设计一个既能有效区分滑坡与未发生滑坡的区域，又能有效区分其他变化区域的特殊框架是十分必要和有意义的。因此我们设计了一个端到端的基于GAN和孪生网络（GSF）用于LIM。

本文贡献：

1. 提出一个用于LIM的级联系统（领域自适应模块和滑坡检测模块），集成GAN和孪生网络。
2. 条件GAN，抑制双时相图像之间未变化区域的差异（其他差异）。它由像素级条件鉴别器和参考变化图引导。
3. 设计一种新的混合损失函数，包括对抗损失，自适应损失和对比损失，能够更好的训练GSF。

METHODOLOGY

A. Conditional GAN for Domain Adaptation

GSF包括两个级联的模块：领域自适应模块和滑坡检测模块。

前者利用像素-pix GAN衍生的条件GAN，学习将滑坡前的图像域转换为滑坡后的图像域。后者利用孪生网络，将转换过域的滑坡前图片，和滑坡后图片成对输入孪生网络，进行滑坡检测。训练的时候，两个模块同时训练。测试的时候只用到G网和滑坡检测模块。

用GAN的原因（区域自适应）

光照，大气条件，时间差异这种变异性会给LIM带来负面影响。因此，我们采用域自适应模块来消除成对图像之间对颜色分布、纹理特征和上下文信息的域偏移，然后抑制未改变区域的差异，突出变化区域。

条件GAN的主要目标是学习G:T1→T2（从滑坡前到滑坡后的图像域映射）的映射模型，使生成的图像看起来与滑坡后的图像相似，但保留了它们的内在信息。D网用来判别G（T1）和T2。

对抗学习由两个损失函数激励：adversarial and adaptation losses。

Adversarial loss:

为了获得更好的域自适应性能，我们的生成器不仅要欺骗鉴别器，而且要使生成的图像在未改变的区域接近滑坡后图像。因此，我们设置自适应损失严格约束I(T2)与G(I(T1))之间的关系。

adaptation loss:

C是二值变化图（ground truth）,0是未变化区域，1是变化区域。⊗ 按元素相乘。

B. Siamese Network for Landslide Detection

滑坡检测模块由contrastive loss激励。

滑坡检测模块，使用孪生网络在图像域T2(滑坡后)上进行生成图片和滑坡后图像的像素级对比。generated 和 postlandslide 是孪生网络的输入，输出是两个多通道的特征图。按像素计算两个特征图欧氏距离，然后生成一个和输入图片一样大小但是单通道的landslide map。（滑坡图）。采用contrastive loss更新孪生网络检测模块。

L是gt 滑坡变化图，类似于C。m是距离阈值，设为2。μN，μP分别表示滑坡Negative和Positive像素分布的相对重要性（权重），以全局平均频率平衡定义为:

N是总共的训练样本对数。W,H是图像宽和高。

d表示在不改变输入图像patch形状的情况下，两个feature map之间的成对欧几里得距离的评价，定义为：

因此，contrastive loss在像素级上表示为：

最小化这种损失可以使非滑坡像元对的特征点更加接近，而使滑坡像元对的特征点更加遥远。这有助于siamese检测器将滑坡与其他变化地区区分开来。

C. Training Objective and Testing Detail

训练过程:

Test（predict）：检测器阈值分割。

the final LIM result is calculated by the pixel-level binarization of the landslide prediction score map at the middle threshold of 0.5.

D. Implementations

三个模块都是编解码器的结构。

G:两个下采样卷积模块，9个残差块，两个上采样转置卷积模块。

D:两个下采样两个上采样卷积模块。

Siamese detector : 两个扩张卷积下采样模块，四个基础的扩张卷积模块，两个扩张卷积上采样模块。最后加一个卷积层和tanh激活层。

 

模型结构的解释说明：

       上采样下采样过程能让网络学习高层特征，改进GSF的生成过程；扩张卷积层可以增强孪生检测模块的感受野，加强模型的抗噪声性能；为了防止丢失图像信息，整个神经网络没有设置池化层，而是在卷积的时候设置padding =1,stride =2 ,而残差层的卷积padding =1,stride =1。所有的权重和bias都是零均值高斯分布初始化的。

       200eopch 模型收敛。前100epoch Lr=2x10-4,然后线性衰减至0。

       分层训练：前40epoch，训练G，D，让G可以很好的将T1图像翻译到T2图像域。只用到了LADV and LADA。后160epoch，训练所有模型，优化整体的损失L(G, D, S)。

III. EXPERIMENTS

A. Data Description

两幅配准的大尺度双时相VHR光学遥感影像，9778x6061，覆盖14.82平方公里。这是在香港大屿山岛西部采集的。0.5m的几何分辨率，分别于2008，2011年获取。训练-测试：3：1。

裁剪为512x512, 并通过一定的重叠和旋转来增加训练样本。

B. Evaluation Metrics

评价指标：Precision,  Recall, F1, OA。

在对应的滑坡参考图相同的情况下，高精度和召回率分别意味着低误报率和漏报率。作为精确度和召回率的加权调和平均值，高F1表示有效和通用的模型。另外，OA也反映了该方法的整体性能。

C. Results and Evaluations

difference-based methods 精确率比召回率高，postclassification-based methods召回率比精确率高。我们提出的GSF在这四个评估指标中取得了最好的成绩。

IV. CONCLUSION

通过CGAN，将双时相图像转换至同一图像域（域自适应），抑制它们之间不变区域（非滑坡）的差异。

再使用孪生网络进行像素级的滑坡检测。

由于采用了特殊的设计，我们的GSF能够在成对的图像上探索更多隐式和正向的特征，并且不仅可以将滑坡与未改变的区域，还可以与其他变化的区域区分开。