【红外与可见光图像融合】GuideFuse: A Novel Guided Auto-Encoder Fusion Network for Infrared and Visible Images

最新推荐文章于 2024-07-15 13:28:45 发布

原创

最新推荐文章于 2024-07-15 13:28:45 发布 · 695 阅读

5 ·

CC 4.0 BY-SA版权

文章标签：

#深度学习 #计算机视觉 #人工智能

本文介绍了一种利用梯度信息增强深度网络细节保留的方法，通过设计新的融合策略和网络结构，如Stemconv、GuideGenerator和GradientBranch，以及在训练和测试阶段的处理方式，旨在提高视觉信息的表达能力。

1、动机

目前深度网络有很强的语义表达能力，但还是难免损失一些细节。为了更好地保持源图像的细节，我们使用梯度来引导网络的训练。
计算源图像的梯度图，并且计算了一个梯度值GV，一起引导解码器重建图像。
同时，基于这个GV，设计了一个新的融合策略。

作者在贡献里这样写：设计了一个新的半自动的融合策略来增强视觉信息。通过调整一对超参数，算法可以增强来自不同模态的细节。

2、网络结构

在这里插入图片描述

2.1 Stem conv

引用ResNet的思想，大核卷积，使用7*7的大感受野。卷积的结果同时送入后续encoder和Guide Generator。

2.2 Guide Generator

深度语义信息提取器，使用4个resblock降采样，通道翻倍，平均池化得到一个Guide Value即GV
在这里插入图片描述
全局平均池化后，GV的维度是25611，这个GV的作用就相当于一个通道注意力了。
引导decoder中不同的层，所以有不同的线性映射把256维的GV映射到目标维度。