遥感图像-Deep Feature Alignment Neural Networks for Domain Adaptation of Hyperspectral Data高光谱数据深度特征对齐神经

[论文下载](Deep Feature Alignment Neural Networks for Domain Adaptation of Hyperspectral Data)

0.摘要

深度神经网络已被证明是有用的分类高光谱图像，特别是当大量标记数据是可用的。然而，我们可能没有足够的参考数据来训练深度神经网络用于许多实际的地理空间图像分析应用。为了解决这个问题,在本文中,我们建议使用深特性结合神经网络进行域的适应,在标记辅助数据源的数据可以用来提高分类的性能在有限领域,否则带安全标签的数据是可用的。该模型首先利用深度卷积递归神经网络提取源和目标域的鉴别特征，然后通过将每一层特征映射到变换后的每一层公共子空间，逐层对齐。给出了两个数据集的实验结果。其中一个数据集代表了不同时间获取的图像之间的域适应，而另一个数据集代表了一个非常独特和具有挑战性的域适应问题，表示使用从不同视点和平台收集数据的不同高光谱成像仪获取的源和目标图像(近距离获取的地面前视街景和航空高光谱图像)。我们证明了所提出的深度学习框架能够通过利用源领域的信息对目标领域数据进行稳健的分类。

1.概述

随着数据量和计算能力的快速增长，深度学习[1]在各种机器学习任务中取得了巨大的成功，如图像分类、自然语言处理、语音识别等。卷积神经网络(CNNs)由于其提取局部特征和信息特征的能力，已广泛用于图像相关应用[2]-[4]。另一方面，递归神经网络(rnn)能够学习时间模式，并建立良好的顺序数据模型[5]-[7]。卷积RNN (CRNN)[8]是CNN和RNN的结合，它利用CNN提取局部的、有鉴别性的特征，利用RNN学习数据中的上下文信息。因此，CRNN在[9]分类和[10]识别任务中得到了越来越多的关注。
近年来，遥感技术的发展使得高光谱图像不仅能以前所未有的细节覆盖大面积，而且还能捕捉到各种物体光谱特征[11]的细微差异。基于如此丰富的空间和光谱信息，高光谱图像分类引起了遥感界的广泛关注。近年来，人们提出了多种用于高光谱分类的深度神经网络，包括堆叠式自编码器[13]、深度置信网络[14]、1-D/2-D CNN[15] -[17]和CRNN[18]。然而，训练有监督的深度神经网络，如CNN和CRNN，需要大量的标注数据，这成为高光谱图像深度学习分类的主要障碍之一。为了解决这一问题，一种方法是通过智能选择样本进行贴标来降低贴标成本，另一种方法是利用未贴标数据。此外，领域适应技术提供了一种独特的解决方案，使我们能够享受来自补充数据源的标记数据。为了实现这一目标，领域适应方法通过创建领域不变特征或调整分类模型将知识从源领域转移到目标领域。
在过去的几年里，针对高光谱图像[19]，提出了许多领域自适应分类方法。在[20]中，提出了一种基于支持向量机(SVM)的域适应变体，将分类模型向目标域调整，逐步用目标训练数据替换源训练数据。在[21]中，采用主动学习的方法从目标域中选择具有代表性的样本，从而针对目标数据训练出可靠的分类器。与上述模型调整方法不同的是，[22]提出了一种半监督传输分量分析(SSTCA)方法，该方法在可再生核希尔伯特空间中最小化区域差异。类似地，[23]引入了一种方法，通过学习类相关的转换来减少域引起的更改。引用[24]-[26]通过调整源数据和目标数据的流形来实现域适应。然而，现有的这些工作主要集中在传统的非深度学习方法上。唯一的例外是[27]，其中堆叠去噪自编码器被用于生成域不变特征
在本文中，我们提出了一种新的神经网络模型来适应不同的高光谱图像。该模型被命名为特征对齐神经网络(FANN)，因为来自源域和目标域的特征通过网络层进行对齐。首先利用源域和目标域的训练数据分别对两个由卷积层和循环层组成的crnn进行训练。CRNN特征被认为对于高光谱数据的分类是有效的，因为卷积层可以提取局部不变特征，随后的循环层可以从输入的光谱数据中提取上下文信息。然而，为了能够利用源训练数据，希望源领域和目标领域具有类似的特性。为了生成领域不变的特征，使用基于转换学习的领域适应(DATL)将两个领域的特征投影到一个潜在空间，其中类内距离与类间距离的比例最小。通过域适应过程，综合优化了特征的可分辨性和跨域不变性，提高了分类性能。
本文的其余部分组织如下。第二节描述了拟议的FANN的基本组成部分和框架。然后，我们在两个真实的高光谱数据集上评估了所提出的方法，并在第三节展示了分类结果。结论的注释在第四节中提供

2.方法

2.1.CRNN

研究表明，对于[15]-[17]高光谱图像，cnn可以提供比传统分类方法更好的分类结果。根据不同的实现策略(1-D或2-D)， cnn可以用于提取高光谱图像中沿波长带或空间邻域的代表性特征。一个普通的一维CNN如图1所示，其中输入向量通过几个卷积层和池化层进行传播。在高光谱图像分类的情况下，光谱特征直接馈入一维CNN。每个卷积层由多个1-D滤波器组成，其中滤波器的数量和滤波器长度是需要根据数据进行调整的超参数。表示一个输入向量x∈R^d。在卷积层中，有一个滤波器长度为l的包含p个滤波器的合集{φ₁， φ₂，…，φ_p}与输入向量进行卷积，得到特征映射M

式中m₁∈R^p, f为非线性激活函数。在本文中，我们选取f作为修正后的线性单位函数(RELU)[28]，定义为f(x)= max(0, x)。为了增加特征的平移不变性，减轻计算负担，每个卷积层后面都有一个池化层[2]，这是一种降采样的形式。执行最大池的最常见选择是使用一个长度为2、跨步大小为2的过滤器。
在最后一层，将提取的特征作为矢量平摊，然后连接到输出层，在输出层中应用softmax函数[29]计算每个样本的类概率。softmax函数是将特征向量转换为分类概率的logistic函数的推广。给定样本向量x的k类的预测概率是

其中K为类的个数，ω_k和b_k分别为权向量和偏置向量。
训练卷积层和全连通层中的参数，使CNN产生的预测与地面真实值一致。测量网络损失最常用的方法是交叉熵函数。该网络采用随机梯度下降法进行训练，梯度通过反向传播(BP)算法[30]计算。与计算整个训练集的梯度不同，在训练过程中使用了一种小批量策略，其中训练数据集被分割成小块，用于计算模型误差和更新模型系数。相对于随机梯度下降[31]，在计算每个样本的误差后更新模型，小批量梯度下降的计算效率更高。同时，与批处理梯度下降法相比，小批处理梯度下降法具有更强的鲁棒收敛性，批处理梯度下降法仅在评估完所有训练样本后才更新模型。参数被调整，直到损失函数收敛。
由于卷积仅在相邻像素或光谱波段之间进行，cnn通常无法从不同的图像区域或光谱块中获取上下文相关性。另一方面，rnn是为序列建模而设计的，因此可以对这些相关性进行编码，以便更好地表示。将cnn的特征视为序列数据，即特征的每一维都视为一个时间步长，然后实现一个递归层，如图2所示。递归层的输入是一个特征向量x = [x₁, x₂，…， x_T]，而特征维数取决于之前的CNN层。隐藏状态ht是根据前一个隐藏状态h_t−1和当前步长x_t的输入计算出来的

当前步的输出是

其中非线性激活函数g是本文中的双曲正切函数，U、V、n、W是隐到隐、隐到输出和输入到隐连接的所有步骤共享的权重矩阵。利用softmax函数计算当前步骤的类别概率为(2)。利用一个递归层的隐藏状态作为下一个递归层的输入，可以提取上一层递归层的深层特征作为隐藏状态。与CNN类似，使用softmax函数来计算输出，使用交叉熵来测量损耗。RNN使用小批量梯度下降法进行训练，梯度由BP通过时间(BPTT)[32]计算。
通过结合CNN和RNN, CRNN不仅可以提取局部特征，还可以捕获不同图像区域或光谱块之间的上下文相关性。在领域自适应问题中，源和目标领域的数据采集通常是在不同的采集条件下进行的，包括研究区域、传感器视角，有时还采用不同的传感器。两个域的空间上下文在两个视图中可能不相关，特别是在视点和物体到传感器的范围有巨大变化的情况下。在本文中，一维crnn沿着波长波段应用，目的是找到一种潜在的表示，其中来自不同传感器/视点/时间点的光谱可以在源和目标域的统一意义上有效地表示。
一种典型的CRNN