高光谱图像分类：文献阅读

文献阅读《Multiscale Densely-Connected Fusion Networks for
Hyperspectral Images Classification》

一、高光谱图像背景介绍

普通的图像是RGB三通道的彩色图像，而高光谱图像(HSI)是由许多个狭窄的光谱波段(即channel)构成的三维立方体结构图像，它比普通图像多了一个光谱维，这一光谱维蕴含了丰富的光谱信息。高光谱图像在农业、环境监测等方面应用广泛。

如上图所示，成像光谱仪对目标区域进行连续波段的拍摄，一个波长对应一个光谱反射率，若干个反射率值构成一条连续的光谱曲线用于反映目标地物的光谱特征。如上图右图中不同光谱曲线对应不同的地物(土地、水、植被)。

二、文章摘要

2.1 文章提出的问题

传统的基于CNN模型的高光谱图像分类方法仅采用固定大小的patch来训练，但是HSI的空间结构信息复杂，单尺度的patch可能无法很好地表示其空间结构的信息。此外，传统的CNN模型只是将Feature Maps从一个卷积层向前输入到下一卷积层，而不同的卷积层通常能够提取到不同尺度大小的特征图，因此模型中的多尺度信息没有被有效地利用起来。

2.2 文章提出方法的思路

文章提出了一种MS-DenseNet模型。对于高光谱图像中的每个像元，该模型以待测像元作为中心像元，在不同尺度下提取与其相邻像元构成的patch，在每个特定尺度下的样本中，采用Dense Blocks将每一层与其它层以前馈的方式连接起来。最后由于不同尺度下patch之间的相关性，模型引入多个Dense Blocks来融合不同层之间的多尺度空间信息。

三、MS-DenseNet

文章提出模型的结构流程图如下所示：

文章首先通过PCA方法对原始的高光谱图像进行降维，然后从中提取多尺度patch构造多尺度样本，在多个Dense Blocks中进行卷积提取深层特征。Fusion阶段结束后，接入池化层和全连接层，这里特征图是以特征向量的形式输入到FC层，然后输出得到像元的分类标签。

3.1 PCA降维

将图像的前L个主成分分量作为特征图(M×H×L)，对于该特征图中的每个像元yi，在不同尺度大小下提取T个patch{Y1,…Yt,…YT}，然后将这些patch构造出多尺度样本{U1,…Ut,…UT}，Ut表示在尺度t下的所有patch。其中L的值取3，提取出的三个主成分分量和组成的彩色分类图如下所示：

3.2 Bicubic算法

采用双三次插值算法将不同尺度的样本插值到最大尺度样本的大小，后面才能融合。关于该算法介绍参考：https://blog.youkuaiyun.com/qq_29058565/article/details/52769497

3.3 Dense Block

前四个纵向排列展示的Dense Block实现多尺度的融合。文章首先引入Dense块**[1]**将每一层与其他层连接起来，对于Dense块的第i个卷积层，它从前面所有卷积层中接收特征图{Y1,…Yi-1}，然后把它们连接起来作为input：

Concate[·]表示连接(拼接)操作(按图像维度拼接)，下图为五个卷积层的Dense块结构，每一层将所有的特征图作为input。

四、实验展示

4.1 数据集介绍

文章在五个高光谱图像数据集上展开实验：

4.2 单尺度patch的大小对模型性能的影响

4.3 不同尺寸patch的数量对性能的影响

可以明显地看到，patch数量为4的时候取得了比较高的分类精度，而数量为10的时候模型也达到了比较好的效果，但考虑到网络复杂性与分类精度的权衡，文章将patch数设置为4。

4.4 PC值对模型性能的影响

用PCA方法对高光谱图像降维时，只取前三个PC，因为前三个主成分通常包含了大部分有效信息**[2]**，在该实验中也证明了这一点，因此取L=3。

4.5 分类效果图

下面是Pavia University和Indian Pines数据集的分类图，最右边的为文章提出模型的效果图。这里只展示部分分类图，其余部分可去论文原文中查看。

参考文献

[1] G. Huang, Z. Liu, L. Van Der Maaten and K. Q. Weinberger, “Densely Connected Convolutional Networks,” 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2017, pp. 2261-2269, doi: 10.1109/CVPR.2017.243.
[2] L. Jiao, M. Liang, H. Chen, S. Yang, H. Liu, and X. Cao, “Deep fully convolutional network-based spatial distribution prediction for hyperspectral image classification,” IEEE Trans. Geosci. Remote Sens.,vol. 55, no. 10, pp. 5585–5599, Oct. 2017.