面向多聚焦图像融合的联合卷积自编码网络

本文提出的联合卷积自编码网络结构如图2所示。作为自编码网络，图2中网络训练时的输入和输出是相同的，输入数据经过编码层编码得到图像的特征，这些特征经过解码层重构得到输出数据。如果自编码能够较好的重构输入图像，我们认为经过编码层提取的特征(以下简称“隐含层特征”)是对源图像的有效特征表达。对于多聚焦图像的聚焦区域和模糊区域，聚焦区域的特征清晰，显示了多聚焦图像的细节信息，特征的纹理清晰，相反，模糊区域的特征不清晰，我们可以用隐含层特征作为聚焦度量从而得到聚焦映射。如何提取隐层特征，使得特征更有效的区分聚焦和和模糊区域是实现图像融合的关键。在准确重构两幅源图像的基础上,联合卷积自编码网络的公共特征因为权重共享的原因学习到了两幅多聚焦图像公共的结构和概貌信息，私有特征权重不共享，学习到两幅图像的差异部分，即聚焦的细节差异。这种差异化的特征有助于图像聚焦和模糊区域的判别。
联合卷积自编码网络结构的编码层迁移了VG19网络的前三层卷积层和池化层，解码曾由对应的卷积层和上采样层构成，重构够的私有分支和公共分支经过融合分别得到融合结果。

参考文献 http://kns.cnki.net/KCMS/detail/21.1124.TP.20190318.1051.001.html
VGG结构分析