Transferred Deep Learning-Based Change Detection in Remote Sensing Images

基于深度迁移学习的遥感图像变化检测（Transferred Deep Learning-Based Change Detection in Remote Sensing Images）论文详解

在解读该论文之前，先简单介绍两个简单的网络结构，第一个是2016年发表在ECCV的一篇文章《Deep Reconstruction-Classification Networks for Unsupervised Domain Adaptation》,该论文结构如下：

该网络结构主要是有三部分：
第一部分就是左边共有的部分：该部分提取特征。
第二部分是往右上走的分支：是对源域进行分类。
第三部分是往右下走的分支：该部分网络与第一部分正好相反，如果该部分最终的输出和原始第一部分的输入差距很小，我们就可以认为第一部分学习到的关于目标域的特征表达是有效的。当第三部分的loss趋于稳定时，则停止整个网络的训练。

第二个网络结构是U-net，该论文结构如下：

该模型由一条（contracting path）收缩路径（下采样，常规的卷积网络）和（expansive path）扩展路径（上采样，转置卷积网络）组成。共23个卷积层，模型的输入图像和输出图像的大小是不一样的，输出的图像比输入的要小。

1 基本介绍

1、这是2019发表在Geoscience and Remote Sensing的一篇文章。
2、首先在文章开始，作者阐述了motivation部分，第一个点是说监督的深度神经网络通常已经应用于很多不同的任务中，但是训练具有优越性能的这种深度神经网络需要大量标记数据。 然而，手动标记数据是耗时且昂贵的，尤其是对于遥感中的任务，例如变化检测。第二个点是作者又考虑到做迁移学习时源域与目标域的特征分布是不同的，这个缺点就会导致直接用源域训练的网络不能很好的适应到目标域中，因此作者引入了深度迁移学习的方法去解决这两个问题。
3、主要贡献
1）提出了一种转基于深度迁移学习的变化检测框架，其中未标记的图像从相关的标记图像中获得额外的知识。
2）在预训练阶段，提出重构检测网络（RDN）同时学习源域的变化检测任务和目标域（差分图像）的重建任务。 它可以从功能级别缓解源域和目标域之间的分布差异。该贡献的主要思想是来自2016年发表在ECCV的重构分类文章。
3）在fine-tune阶段，提出了基于区域和边界的策略来选择具有通过无监督方法正确分类的高可能性的像素。

2方法

2.1主要结构

这个网络也可以看作是两大部分：第一部分是预训练阶段，第二部分是fine-tune阶段。
在预训练阶段，可以看作是三部分，分别是对源域的变化检测、对目标域差分图像的重构和前两小部分网络整体集成的网络（也就是作者说的重构检测网络RDN）。在整个RDN网络使用的是U-net网络结构，在这个过程中，作者提出了用合并一对patch去
评估U-net网络结构模式。
在预训练结束，对整个网络进行fine-tune。

2.2 具体训练过程

预训练阶段有三部分，首先用source data训练用于变化检测那部分的网络，其次是用目标域数据训练重构差分图像网络的部分，其中两个网络的低层部分是共享的，最后是训练整个RDN，损失函数定义如下：
1）变化检测网络的loss：
L s = − ∑ i = 1 N s ∑ i = 1 m ∑ j = 1 m l b c e ( y k s ( i , j ) , y ^ k s ( i , j ) ) L^{s}=-\sum_{i=1}^{N_{s}}\sum_{i=1}^{m}\sum_{j=1}^{m}l_{bce}(y_{k}^{s}(i,j),ŷ_k^s (i,j)) Ls=−i=1∑Ns​​i=1∑m​