【MULTISPECTRAL FUSION FOR OBJECT DETECTIONWITH CYCLIC FUSE-AND-REFINE BLOCKS】论文阅读

这篇论文是2020年10月发表在ICIP上的一篇论文

 点击跳转：原文pdf

 点击跳转：代码地址

---

摘要+介绍部分

文章首先提出要有效地利用不同的光谱，主要的问题在于信息融合过程

总的来说，就是下面这张图

---

一、提出的方法

（1）融合：

文章提出的融合方法就是把两个模态的特征图先concat+BN+3*3卷积，然后为了防止过拟合，循环中融合部分的3*3卷积都设置一样的权重

其实这里不太懂为什么共享权重可以防止过度拟合！！

（2）细化：

细化就是将融合的特征图和单一模态特征图逐元素相加后再经过一个激活函数，即得到细化后的单一模态特征图

（3）语义分割监督：

 图中对每一个经过细化后的特征图都引入了语义分割辅助监督信息，帮助网络去更好的优化

并且语义分割信息可以帮助决定何时特征图的一致性和互补性达到了平衡，从而不再进行循环

（4）最终的融合

二、实现细节

1.数据集

数据集采用清洗过后的KAIST数据集（消除了注释错误的）和FLIR数据集（这里只选取了包含car、person、bicycle三类；并且手动删除了没有对齐的图像对）

2.结果图

为了公平起见，分别使用清洗过后的数据集和未清洗的数据集的比较结果

3.循环次数的图 

 可以看到，在采用3次循环时，效果最好

欢迎大家批评指正！！！！