IGRSS数据融合比赛

这里记录一下初次参加IGRSS比赛的经历

比赛共有三个赛道，分别是高光谱图像分类，融合分类，Lidar数据分类，我们选择HSI与DSM融合比赛

第一阶段：训练阶段

1. 查阅资料：总结前五年比赛使用到的方法，归纳优缺点，通过查找论文找到并且总结出对于我们有参考意义的方法有：

         ①自步学习，协同训练，svm

         ②随机森林，特征提取

         ③CNN ，随机森林，great boosting mechines 三个分类方法集成

         ④大气校正预处理

     2. 分析训练数据

   

根据分析我们初步采用dsm以及hsi作为融合的数据集，因为hsi包含了光谱信息，dsm包含高度信息，两者结合可以互相弥补缺点，针对难以分类的类别的可以用高度信息来判断。hsi，vhr与gt大小不一样分辨率也不一样，因此要对hsi上采样，vhr下采样统一分辨率

3. 确定方法

HSI分类：

•方案一：3D CNN对高光谱提取特征并且分类，这样对空间和光谱同时进行卷积可以结合空间信息以及光谱信息，batch大小用的是3*3考虑到这样可以针对小样本，复杂的地区。

•方案二：对HIS 进行PCA降维之后进行2D卷积，batch 大小41*41，能够更好的利用领域信息。

•参考了方案一和方案二的每一类正确率发现结果非常互补，3D卷积在前几类中正确率很高而2D的比较低，分析原因可能是因为这几类比较分散而且分布较复杂，因此小的领域能够得到好的结果。而在后面几类中2D卷积41*41领域得到的效果也远好于3*3领域的结果，因为这几类属于大面积分布的类别，大的领域能够获得更多的空间信息，因此效果好于3D卷积。

DSM分类：

同HSI一样选取2D卷积网络进行分类

融合也有三种方法：

• 传统方法融合

1.预处理：由于HSI与groundtruth分辨率不匹配，对HSI进行双三次插值上采样。

2.对HSI和dsm进行归一化。

3.利用PCA取HSI的前三个主成分。

4.分别对HSI的三个主成分提取EP特征，gabor特征已经dsm的gabor特征。

5.将提取出的所有高维特征利用自编码（AE）网络进行融合。

6.利用随机森林（RF）对融合后的特征进行分类。

• 自编码网络融合

                                     

• 深度方法融合

                                  

阶段二：测试阶段

测试数据是训练数据的四倍，也就是说我们只有20%的训练样本而且样本比较集中，都在一个区域，因此之前的方法在第一次测试后效果并不理想需要做一些调整

效果：方案三效果不好，方案一和方案二决策融合效果不错

分析原因: ① 方案一和方案二决策融合效果提高的原因是batch的原因，不同batch提取到的特征不同，所以对比分类结果可以发现很多类别的分类效果是互补的，因此对这两个进行决策融合，能够提高精度。

               ② dsm的效果并不好，因此我们下一步使用高分辨图像hsi融合，高分辨图像分辨率高细节信息更加准确。

               ③ 传统方法需要的训练样本应该是分散的，它对周围的样本点非常敏感，因此我们决定对之前测试得到的结果中概率值高的样本进行提取，从而扩充样本，使小类别样本数量增加以及样本分散。

               ④ 数据预处理时训练样本以及测试样本不在同一个空间，需要统一空间，解决方法是训练集与测试集进行图像配准，在测试集中找到训练集的具体坐标。