DCN-T: Dual Context Network with Transformer for Hyperspectral Image Classification

1引言

本文主要是对《DCN-T: Dual Context Network with Transformer for Hyperspectral Image Classification》这篇论文的一个解读与总结，原文链接：DCN-T: Dual Context Network With Transformer for Hyperspectral Image Classification | IEEE Journals & Magazine | IEEE Xplore

本篇论文是对高光谱图像分类的一个模型设计。作者采用了一个端对端的DCN-T（双分支上下文网络）对图像进行分割分类。首先将高光谱图像转换为三光谱图像，从而可以使用现成的ImageNet预训练骨干网络进行特征提取。接着采用DCM（双分支模型）提取区域适应上下文（RAC）特征和全局聚合上下文（GAC）特征进行融合得到包含全局局部信息的特征。再采用软分类的方式得到各个类别的概率，得到分类结果。最后总的损失函数包括结果预测损失和辅助损失，两者采用交叉熵损失函数计算损失值。

2 现已有研究存在的问题

高光谱图像（HSI）存在“空间变异性”，同一对象在不同的地域环境下表现出不同的特征，由此产生混合类别的问题导致类间相似性，从而增加分类难度。

为了解决这一问题，提取重要的判别特征，现有的许多网络模型在大规模数据集（如ImageNet）上进行预训练，使用预训练权重来增加深度网络的性能和收敛的有效性。

然而由于自然图像和高光谱图像之间的通道数存在差异，这些网络不能直接用于高光谱图像的分类。因此现有的许多方法都是采用将高光谱图像转换为三光谱图像进行处理，但是由于高光谱图像含有丰富的光谱信息，这将导致大量的光谱信息的损失。

同时由于高光谱图像含有丰富的光谱信息，光谱维度很高，随机选择三通道进行组合会生成一个庞大的三光谱图像集合，进而再采用集合方式进行评估时将会引入巨大的计算负担，这在实践中是不可行的。

3 模型架构

3.1 三光谱图像的生成

三光谱图像生成管道包括三步：分组和聚合、随机通道选择、图像拉伸。

3.1.1 分组和聚合

① 分组

        因为相邻的通道具有高度相关性，因此我们采用沿着光谱方向进行划分而不是随机分组。

        原始图像  ，将图像沿光谱方向分为  组，

        得到  。

        其中每一组可以表示为  。

 ② 聚合

        通过平均值聚合每组内的通道得到新的通道作为三光谱图像中的一维。

        公式如下：