（学习笔记1）可见光与红外图像的特征融合（Feature Fusion）

一、可见光与红外图像以及融合图像的特征

• 可见光图像：

1. 纹理细节
2. 高空间分辨率

• 红外图像：

1. 区分热辐射
2. 忽略照明

• 融合图像：

1. 突出辐射信息（亮度和对比度）
2. 详细的纹理信息（渐变和边缘）
3. 清晰、完整和准确的目标描述

二、图像融合与图像特征融合的区别

1. 图像融合（Image Fusion）

   图像融合是一种图像增强的方法，可见光图像捕获反射光，而红外图像捕获热辐射，两者结合具有互补的特性，融合后的图像比任何单张图像都包含更多的信息，且更准确。

   图像融合的目的是：

   1. 减少数据量

   2. 构建更适合人与计算机感知识别的图像

   3. 融合后的图像比任何输入单张图像提供更多的信息

• 图像特征融合（Image Feature Fusion）

  图像特征融合是将图像中提取出的特征进行组合。图像的特征可分为传统特征与深度特征。传统特征包括颜色直方图、HOG、SIFT、ORB等，融合手段大多将特征进行拼接。

  在深度学习任务中，现有方法主要采用两种方式进行特征融合：

  1. 按元素进行相加（element-wise addition），代表有FPN/ResNet/SENet等网络结构

  2. 特征图拼接（Concatenation），代表网络为DenseNet。

• 两者区别

  图像融合主要在像素层面（数据层）进行，生成信息量更丰富的图像；而图像特征融合在特征级别进行，结合各个维度的特征，增强特征表达力。

三、本文参考

[1]  https://blog.youkuaiyun.com/AITIME_HY/article/details/113777988 基于深度特征分解的红外和可见光图像融合

[2]  https://zhuanlan.zhihu.com/p/500662503 论文笔记 | 图像融合与图像特征融合的区别和联系

[3​]  https://blog.youkuaiyun.com/weixin_42180950/article/details/107324726 一篇关于红外图像和可见光图像融合的摘要