本篇的Baseline应该是DeepFuse,两阶段训练,固定AE后,再加入中间的融合层训练。融合策略的方式可以留意一下,把源图像的特征作差得到差异特征,然后求取加权值。
编码器提取了4级多尺度特征,解码器中作者也是想使用多尺度的跳跃连接(有很多实现方式,作者试了一种)
损失函数就一个平均梯度算子提取的梯度损失和一个像素强度损失。
发表自TIM 2022
代码公开
1、融合策略
- 作差,取全局最大池化,
除以最大值,归一化到 [0,1]。这里IR-VIS,然后VIS-IR得到了两个插值图。 - 再通过Repeat操作,变换回与插值图一样的维度,除以插值图的最大值,归一化到【0,1】,如此一来,每个点的权重就不同了。我一开始以为他是作差,直接归一化,然后复制回与插值图一样的维度,这样,每一一个长条权重都是一样的了,这样就还好点