Paper2 Multi-Exposure Image Fusion by Optimizing A Structural Similarity Index

论文概述

摘要

Abstract—We propose a multi-exposure image fusion (MEF) algorithm by optimizing a novel objective quality measure, namely the color MEF structural similarity (MEF-SSIMc) index. The design philosophy we introduce here is substantially different from existing ones. Instead of pre-defining a systematic computational structure for MEF(e.g., multiresolution transformation and transform domain fusion followed by image reconstruction), we directly operate in the space of all images, searching for the image that optimizes MEF-SSIMc.
摘要 - 我们提出了一种多曝光图像融合（MEF）算法，通过优化一种新的客观质量评价，即颜色MEF结构相似性（MEF-SSIMc）指标。我们在这里介绍的设计理念与现有设计理念大不相同。我们不是预先定义MEF的系统计算结构（例如，多分辨率变换和变换域融合，然后进行图像重建），而是直接在所有图像的空间中操作，搜索优化MEF-SSIMc的图像。

Specifically, we first construct the MEF-SSIMc index by improving upon and expanding the application scope of the existing MEF-SSIM algorithm. We then describe a gradient ascent-based algorithm, which starts from any initial point in the space of all possible images and iteratively moves towards the direction that improves MEF-SSIMc until convergence. Numerical and subjective experiments demonstrate that the proposed algorithm consistently produces better quality fused images both visually and in terms of MEF-SSIMc. The final high quality fused image appears to have little dependence on the initial image. The proposed optimization framework is readily extensible to construct better MEF algorithms when better objective quality models for MEF are available.
具体而言，我们首先通过改进和扩展现有MEF-SSIM算法的应用范围来构建MEF-SSIM指标。然后，我们描述了基于梯度上升的算法，该算法从图像空间中所有可能的任何初始点开始，并且迭代地朝向改善MEF-SSIMc的方向移动直到收敛。数值和主观实验表明，所提出的算法在视觉上和MEF-SSIMc方面始终如一地产生更好质量的融合图像。最终的高质量融合图像似乎几乎不依赖于初始图像。当更好的MEF客观质量模型可用时，所提出的优化框架易于扩展以构建更好的MEF算法。

Index Terms—Multi-exposure image fusion(MEF),gradient ascent, structural similarity (SSIM), perceptual optimization.
关键词 – 多重曝光图像融合（MEF），梯度上升，结构相似性（SSIM），感知优化。

相关工作

最基本的MEF算法

已有的大多数MEF算法都有一个加权求和的形式
$$y=\sum _{k=1}^K{\omega }_k{\mathrm{x}}_k（1）$$
其中，$K$表示原图像序列中有多少个图像，${\mathrm{x}}_k$ 表示第$k$个曝光图像的同一位置的像素或者是“划分块”；${\omega }_k$就是每个对应像素或者块的权重，携带了关于${\mathrm{x}}_k$融合过程的感知重要性的信息；$y$表示融合图像$Y$的对应像素或块。方程（1）已经被大量的MEF算法所取代改进。

未改进的 MEF-SSIM

$$\begin{array}{l}{\mathrm{x}}_k=\Vert {\mathrm{x}}_k-{\mu }_{{\mathrm{x}}_k}\Vert \cdot \frac{{\mathrm{x}}_k-{\mu }_{{\mathrm{x}}_k}}{\Vert {\mathrm{x}}_k-{\mu }_{{\mathrm{x}}_k}\Vert }+{\mu }_{{\mathrm{x}}_k}\\ =\Vert {\tilde{\mathrm{x}}}_k\Vert \cdot \frac{{\tilde{\mathrm{x}}}_k}{\Vert {\tilde{\mathrm{x}}}_k\Vert }+{\mu }_{{\mathrm{x}}_k}\\ =c_k\cdot s_k+l_k\end{array}$$
${\mathrm{x}}_k$是同一位置不同曝光图像的像素块，${\mu }_{{\mathrm{x}}_k}$表示像素块的强度均值，${\tilde{\mathrm{x}}}_k$表示平均去除块。
太聪明了吧，将一个像素块等值变化为三部分，$c_k$表示信号强度， $s_k$表示信号的结构，$l_k$表示平均强度。