Probing Synergistic High-Order Interaction in Infrared and Visible Image Fusion

Probing Synergistic High-Order Interaction in Infrared and Visible Image Fusion

论文

N. Zheng et al., “Probing Synergistic High-Order Interaction in Infrared and Visible Image Fusion” 2024 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), Seattle, WA, USA, 2024, pp. 26374-26385

现有不足

1. 现有的深度学习方法通常难以显式有效地建立红外和可见图像之间的协同关联。尽管像加权拼接等方法能够捕捉一些相关性，但它们未能充分挖掘两种模态之间的内在相互依赖，特别是在高阶空间和通道交互方面。未能充分利用红外与可见图像在空间和通道维度上的协同作用
2. 将二阶交互拓展成任意阶数由于矩阵乘法而带来较大的计算负担,因为虽然点积非常有效，但它伴随着显著的计算成本，使得通过级联自注意力机制实现高阶操作变得不切实际

[!TIP]
二阶交互:特征之间的简单相互关系,例如两个特征的相似性,可以通过简单的计算（例如点积）来捕捉
高阶交互:考虑多个特征、多层次信息之间的综合作用,强调了特征之间的非线性关系

本文创新点

1. 通过在空间和通道维度中引入高阶交互,使得红外和可见光图像能够实现高阶融合;
2. 将时域的的级联自注意力机制的点积转化为频域上的逐元素相乘,降低计算复杂度.

主要算法

1. 将上图的算法交互链转化为如下公式,由此可以得到任意阶数的空间和通道的相互作用

$$F_{\mathcal{V}}\to {\mathcal{O}}_S\left({\left(F_{\mathcal{V}}\right)}^N\right)\to {\mathcal{O}}_C\left({\left(F_{{\mathcal{V}}_S}^1\right)}^N\right)\to {\mathcal{O}}_S\left({\left(F_{{\mathcal{V}}_c}^1\right)}^N\right)\to {\mathcal{O}}_C\left({\left(F_{{\mathcal{V}}_S}^2\right)}^N\right)\to \dots {\mathcal{O}}_S\left({\left(F_{{\mathcal{V}}_C}^{L-1}\right)}^N\right)\to {\mathcal{O}}_C\left({\left(F_{{\mathcal{V}}_s}^L\right)}^N\right).(1)$$

其中的高阶空间交互在多头注意力的基础上进行更改,时域上的公式为:

$OS((F_V{)}^2)=F_{vs}^1=\text{softmax}\left(\frac{F_V{W}_Q\otimes {F_R{W}_K}^T}{\sqrt{d_k}}\right)\otimes F_R{W}_V=A\otimes V$(2)

但是点积的计算代价太大,级联注意力机制不现实,因此改用频域简化计算,其中 $\odot$表示 Hadamard 积:

$\mathbf{A}={\mathcal{F}}^{-1}\left(\mathcal{F}\left(F_{\mathcal{V}}{\mathbf{W}}^Q\right)\odot \overline{\mathcal{F}\left(F_{\mathcal{R}}{\mathbf{W}}^K\right)}\right)$(3)

由 $\text{Norm}(\mathbf{A})=\text{softmax}\left(\frac{\mathbf{A}}{\sqrt{d_k}}\right)$并结合(2)得到:

${\mathcal{O}}_S\left((F_{\mathcal{V}}{)}^2\right)=F_{{\mathcal{V}}_S}^1=\text{Norm}(\mathbf{A})\odot (F_{\mathcal{R}}{\mathbf{W}}^V)$(4)

转化为高阶就是

${\mathcal{O}}_S\left((F_V^{i-1}{)}^j\right)=F_{{\mathcal{V}}_S^i}=\text{Norm}\left(F_{{\mathcal{V}}_S^{i-1}}^i{\mathbf{W}}^{Q_j}\right)\odot \left(F_{{\mathcal{R}}_S^{i-1}}^i{\mathbf{W}}^{V_j}\right)$(5)

高阶通道交互在 SE 的基础上进行更改,公式如下:

$O_C((F_i{)}^j)=F_{C_j}^i=Sigmoid(W{Z}_j^i)\cdot (W{F}_{j-1}^i)$(6)

其中 $Z_j^i$ 为第 j 通道的全局统计量(均值/方差)的 i 阶空间交互定义为:$Z^i=\frac{1}{H\times W}{\sum }_{x=1}^H{\sum }_{y=1}^W{F}^i(x,y)$

总结

1. 现有的多模态图像融合往往只停留在二阶交互,这样往往容易忽略高阶交互的信息,通过级联注意力机制的方式获取高阶交互信息,高阶交互虽然能够挖掘复杂依赖关系，却面临计算量较大的挑战。针对这一问题，本文提出了一种通过空间交互与通道交互相结合并级联注意力机制的方式获取高阶交互信息的方法,在空间维度上，利用频域操作高效建模模态间的高阶空间特征；在通道维度上，通过扩展 SE 模块递归捕捉通道间更深层次的依赖关系，从而在降低计算成本的同时实现了对模态间高阶交互信息的有效建模。