图像融合根据融合处理所处的阶段不同,通常在三个不同层次上进行,即像素级融合、特征级融合和决策级融合,这三个层次上所采用的融合算法各不相同,因此,图像融合通常按照这三个层次相应地划分为三类,其主要应用方向如图所示。
从数据处理代价和获得融合性能角度分析,这三个层次的融合各有优缺点。
(1)像素级融合是最重要、最根本的图像融合方法,虽然处理开销大,实时性差,但是其精度高,融合结果直观,也利于进一步进行图像分析和理解;
(2)特征级图像融合可分为目标状态信息融合和目标特征融合。特征级目标状态信息融合主要应用于多传感器目标跟踪领域,其融合处理主要实现参数相关和状态矢量估计。特征级目标特征融合就是特征层的联合目标识别,其融合方法中仍然要用到模式识别的相关技术,只是在融合处理前必须对特征进行相关处理,对特征矢量进行分类和综合。更为重要的是,在模式识别、图像处理和计算机视觉等领域,人们已经对特征提取和基于特征的聚类问题进行了深入的研究,有许多方法可以借鉴。在融合过程中,常用到模糊方法、神经网络技术、聚类方法以及 Kalman 滤波器等。
<目前存在的特征级融合算法大体上可以分为如下三类:
一种是简单的特征组合,即将所有的特征向量,按照串行、并行的方法组合在一起,构成新的特征向量,也可以称作经典的特征融合算法,如串行和并行融合算法、基于协方差矩阵的方法和基于多特征直方图的方法;
第二种是特征选择,即采用最优计算或智能计算的方法,从新组合的特征向量中,对每一维数据中都选择出一个对分类最优的数据,最后把选择出来的数据组成新的特征,如基于遗传算法的特征融合算法、基于人工神经网络的特征融合算法和基于模糊逻辑的特征融合算法等;
最后一种是特征变换,即使用一定的数学方法变换图像或者原始特征为一种全新的特征表达方式,如基于复数主分量分析的方法、基于典型相关分析的方法和基于复数独立分量分析的方法等。