SeAFusion

Image fusion in the loop of high-level vision tasks-A semantic-aware real-time infrared and visible image fusion network(2022)

代码地址

解决问题

红外光、可见光融合

主要贡献

1. 设计了GRDB模块，增强网络对细粒度细节的描述能力并实现特征重用
2. 任务驱动评估方式，将语义分割引入训练当中

数据集

归一化到[0-1]、颜色空间转换(使用YCbCr中的Y进行操作)

1. MFNet 数据集：包含 1083 对红外和可见光图像的训练集，以及 361 对图像的测试集。该数据集提供了九个物体类别的语义标签。
2. RoadScene 数据集：用于泛化实验，包含 25 对图像。
3. TNO 数据集：也用于泛化实验，包含 25 对图像。

评价指标

1. 熵（Entropy, EN）：衡量融合图像中包含的信息量。较高的熵值表示融合图像包含更多的信息。
2. 互信息（Mutual Information, MI）：衡量从源图像到融合图像的信息传递量。较高的互信息值表示融合图像更好地保留了源图像的信息。
3. 视觉信息保真度（Visual Information Fidelity, VIF）：从人类视觉系统的角度评估融合图像的信息保真度。较高的 VIF 值表示融合图像与人类视觉感知更一致。
4. 空间频率（Spatial Frequency, SF）：衡量融合图像中包含的空间频率信息量。较高的 SF 值表示融合图像具有更丰富的细节。
5. 标准差（Standard Deviation, SD）：从统计学角度反映融合图像的分布和对比度。较高的 SD 值表示融合图像具有更高的对比度。
6. 边缘信息传递（Edge Information Transfer, EIT）：衡量从源图像到融合图像的边缘信息传递量。较高的 EIT 值表示融合图像保留了更多的边缘信息。

框架结构

训练策略

梯度残差密集块（GRDB）

提取高级语义特征并增强对细粒度细节的描述能力，GRDB可以将学习到的卷积特征和梯度幅度信息进行融合

损失函数

内容损失

包含两个部分：强度损失和纹理损失，有效提升融合图像的视觉质量和统计评估指标
$$\begin{array}{r}{L}_{con}=L_{int}+\alpha L_{tex}\end{array}$$
1、强度损失–衡量融合图像和源图像在像素层面的差异
$$\begin{array}{r}{L}_{int}=\frac{1}{HW}\Vert \Vert A_{fus}-max(A_{ir},A_{vis})\Vert {\Vert }_1\end{array}$$
2、纹理损失–迫使融合图像包含更多的细粒度纹理信息
$$\begin{array}{r}{L}_{tex}=\frac{1}{HW}\Vert \Vert \mid \nabla A_{fus}\mid -max(\mid \nabla A_{ir}\mid ,\mid \nabla A_{vis}\mid )\Vert {\Vert }_1\end{array}$$

语义损失

两部分：主语义损失和辅助语义损失
$$\begin{array}{c}{L}_{sem}=L_{sem}+\zeta L_{aux}\\ L_{sem}=-\frac{1}{HW}\sum _{h=1}^H\sum _{w=1}^W\sum _{c=1}^{C}S(h,w,c)log(\hat{S}(h,w,c))\\ L_{aux}=-\frac{1}{HW}\sum _{h=1}^H\sum _{w=1}^W\sum _{c=1}^{C}S(h,w,c)log({\hat{S}}_a(h,w,c))\end{array}$$
最终的损失
$$\begin{array}{c}{L}_{total}=L_{con}+{\alpha }_{sem}{L}_{sem}\end{array}$$${\alpha }_{sem}$ 是一个超参数，随着训练进行，会慢慢增大

实验包含两幅白天、两幅夜晚图片定型比较，定量比较以及泛化性实验（和前面类似）、语义分割、目标检测实验