Correcting Over-Exposure in Photographs阅读札记

Correcting Over-Exposure in Photographs
阅读札记

  论文发表于2010年的CVPR。

Abstract

  本文方法通过分别恢复颜色和亮度来校正现有照片的曝光过度。
步骤：
  （1）稍微压缩曝光良好区域的动态范围，为过度曝光区域的动态范围腾出空间。
  （2）根据过度曝光的置信度恢复亮度。
  （3）通过邻域传播和原颜色的置信度对每个像素点的颜色进行校正。
校正效果图：

  （a）输入图像
  （b）蓝线标记过曝光区域
  （c）本文方法校正结果

Method

算法框架图

  本文使用 $\Omega$表示过度曝光的区域，$\neg \Omega$表示图像的其余部分。为了分别处理亮度和颜色，首先将输入图像转换为CIELAB颜色空间，$L^{\ast }$通道表示亮度，$a^{\ast }$、$b^{\ast }$ 通道表示颜色。后面用$L$表示$L^{\ast }$通道，使用$C=(ab{)}^T$表示输入图像的$a^{\ast }$和$b^{\ast }$通道。$\tilde{L}$,$\tilde{C}$分别表示$L^{\ast }$和$a^{\ast }{b}^{\ast }$结果图像的通道。

过曝光检测

  前人工作多使用一个硬阈值来检测，即像素值大于等于阈值的区域定义为过曝光区域。但是硬阈值不能较好处理过曝区域到其邻域的过渡，本文创建一个过度曝光图$M$，值域为$(0,1)$，表示一个像素受过曝光影响的程度。$M_i$定义为：

  $L_T$和$C_T$：使$M=0.5$的过曝光区域的边界值（本文取$L_T=80$, $C_T=40$）
  $L_i$和$C_i$：像素$i$处的亮度值和色度值
  $\delta$：控制$M_i$随$L_i$增大或$\Vert C_i{\Vert }_2$减小的增长速度。（本文取$\delta =1/60$）

  上图展示了一个$M$的例子。图(b)显示了$M>0.5$区域，其覆盖面积比简单阈值法检测的结果(图(a))大得多。$\Omega$区域定义为$M\ge 0.5$的所有像素，$\neg \Omega$区域定义为$M<0.5$。$\Omega$定义了场景中受光线影响严重且需要校正的区域。

亮度恢复

  使用色调映射技术来压缩$\neg \Omega$的动态范围，为$\Omega$的恢复亮度腾出空间。引入过度曝光似然$P$来衡量$\Omega$中的像素在输出图像中仍然过度曝光的可能性

  $K$是使$ma{x}_i{P}_i=1$的标准化因子。
  上图( c)是$P$的一个例子
  对于$\neg \Omega$中的动态范围压缩，衰减函数$Z(.)$定义为

  $\alpha$：控制被压缩的最小梯度，通常设置为平均梯度幅度的0.1倍
  $\beta$：控制压缩比，本文取$\beta =0.9$
  整体亮度能量函数为：

  $|\Omega |$：$\Omega$中的元素数。
  $\lambda$：平衡梯度能量（第一项）和值能量（第二项），本文取$\lambda =5$
  最小化第一项使得$\neg \Omega$区域的结果图像亮度梯度与压缩后图像的亮度梯度尽可能相似；最小化第二项使得$\Omega$区域的结果图像亮度与原始亮度尽可能相似。
  为了恢复因压缩$\neg \Omega$动态范围损失的亮度，整体能量函数${\epsilon }_L$通过一个硬约束最小化，即

  本文取$r=0.1$

色度校正

  使用过度曝光图$M$来表示像素颜色的置信度（过曝光程度越低，置信度越高）。$\Psi$定义为

  以$\Psi$为例，如上图 (d)所示。
  每个像素的颜色通过相似权值与其相邻像素相似，通过最小化色度能量函数${\epsilon }_c$来校正颜色：

  $N_i$：像素$i$的邻域
  (I)对于像素$i\in \Omega$，它的置信度值${\Psi }_i$几乎为零，则${\epsilon }_c$的第二项为零，即忽略该像素的原始颜色值，则这个像素的颜色从它的邻近像素传播。
  (II)对于$\Omega$周围的像素，其置信度值${\Psi }_i<1$，这两个项都影响其颜色${\tilde{C}}_i$。
  (III)对于远离$\Omega$的像素，其原始颜色占主导地位，颜色趋于不变。
  本文设置权重$w_{ij}$为

  $D_{\tilde{L}}(\bullet ,\bullet )，D_a(\bullet ,\bullet )和D_b(\bullet ,\bullet )$：分别表示经过修正的$L^{\ast }$和原始的$a^{\ast }$和$b^{\ast }$通道的距离。
  第一个高斯函数度量空间距离
  第二个高斯函数度量亮度差，距离越近和亮度相似的像素颜色越相似
  第三和第四个高斯函数测量原始色差的影响

Experiment

Conclusion

  本文方法直接在输出图像中估计亮度值。良好曝光区域的压缩为过度曝光区域提供了扩大动态范围的空间。利用一种过度曝光置信度来推导出结果图像中过度曝光区域的亮度。颜色校正是基于过度曝光区域边界的颜色、像素邻域的相似性和原始颜色的置信度。
  限制： 对于严重过度曝光的照片，两个相邻物体之间的边界可能变得模糊。本文的颜色校正方法可能会将颜色传播到物体上，如图所示，由于严重的过度曝光，老人的脸和背景中的窗户是相连的，结果窗户被老人的脸染成了红色。