CVPR2021——图像反射去除基于吸收效应

摘要： 本文考虑了吸收效应对于图像反射失真去除的影响，展示了吸收效应可以被折射振幅系数矩阵均值量化的估计。然后重建了图像模型，提出了两步方案。首先估计包含反射失真图像的吸收效应，然后将其作为输入复原图像。实验展示了本文不仅移除了反射失真，且复原了由于吸收效应产生的亮度失真。本文的剪切学习更加展示了方法的优秀表现以及良好的泛化能力。代码开源于https://github.com/q-zh/absorption。

一、简介
  当光照射光滑玻璃表面，就会发生部分的吸收、反射与传播。对于含反射噪声的图像$\mathbf{I}$，一个广泛使用的模型为$$\mathbf{I}=\mathbf{\Omega }\mathbf{T}+\mathbf{\Phi }\mathbf{R}\text{\hspace{1em}(1)}$$其中，$\mathbf{\Omega }$与$\mathbf{\Phi }$分别代表折射与反射振幅系数矩阵，而$\mathbf{T}$与$\mathbf{R}$代表传播与反射图像。从$\mathbf{I}$中恢复$\mathbf{T}$是一个病态问题，由于$\mathbf{T}$与$\mathbf{R}$的内容不可知性，以及$\mathbf{\Omega }$与$\mathbf{\Phi }$的内容无关变量。大多数方法依赖图像内容，如从图像梯度、字典或训练图像得到精准的先验。内容无关变量的性质也被广泛研究并用于多图像反射去除。此外，大多数方案基于理想图像模型，并没有考虑到吸收效应（于第三部分定义），例如玻璃充分薄。最近的工作解决了使用$\mathbf{\Phi }\mathbf{T}$代替$\mathbf{T}$，因为吸收效应显著的降低了传播。因为吸收效应独立于图像内容并随玻璃的颜色、厚度、方位，其有助于缓和图像反射去除的病态性。
  本文通过考虑吸收效应，回顾含反射噪声的图像模型。根据仿真结果，可以注意到吸收效应可以通过折射振幅系数矩阵的均值量化的代表，记为$avg(\mathbf{\Omega })$（见5.1节）。作为内容无关变量，$avg(\mathbf{\Omega })$在仿真时具有波动，可以认为准确的估计$avg(\mathbf{\Omega })$有益于解决图像反射去除问题。本文分两步解决问题：首先估计$avg(\mathbf{\Omega })$，然后通过两个神经网络复原传播图像$\mathbf{T}$。使用二支训练策略，将$\mathbf{I}$与$\mathbf{T}$作为输入以得到$avg(\mathbf{\Omega })$。核心思想在于通过使用神经网络层传播内容无关变量$avg(\mathbf{\Omega })$以减少传播图像与反射图像内容的影响。在第二步中，使用利普希茨【Lipschitz】条件约束，以增加对不同的$avg(\mathbf{\Omega })$值的泛化能力。该方法在公共数据集取得了显著的成效。本文工作总结如下：
  -本文首次提出了吸收效应，用于图像反射去除。此外，吸收效应可以通过反射振幅系数矩阵的均值量化的估计；
  -本文提出两步解决方案：二支训练策略与利普希茨约束条件，用于通过考虑吸收效应解决图像反射去除问题。此外还分析了该方法有益于估计吸收效应并复原传播图像的原因。
  -通过实验展示本文的方法不仅去除反射影响，并借助吸收效应复原亮度失真。本文的方法达到了极好的表现，并拥有较强的模型泛化能力。

---

二、相关工作

---

三、吸收效应
  当考虑吸收效应时，双表面光滑玻璃的折射与反射振幅系数矩阵可以描述为$$\begin{array}{rl}\mathbf{\Omega }& =\frac{(1-\mathbf{P}{)}^2(1-\mathbf{A})}{(1-{\mathbf{P}}^2)(1-\mathbf{A}{)}^2}\\ \mathbf{\Phi }& =\mathbf{P}+\frac{\mathbf{P}(1-\mathbf{P}{)}^2(1-\mathbf{A}{)}^2}{1-{\mathbf{P}}^2(1-\mathbf{A}{)}^2}\end{array}\text{\hspace{1em}(2)}$$其中，$\mathbf{A}$定义为吸收效应用于描述当光经过玻璃传播时光的衰减。$\mathbf{P}$是空气到玻璃表面的反射率。$\mathbf{A}$与$\mathbf{P}$可以通过朗伯比尔【Lambert-Beer】定律与菲涅尔【Fresnel】公式分别表示为$$\begin{array}{rl}\mathbf{A}& =1-exp(\frac{-kL}{cos{\mathbf{\Theta }}_t})\\ \mathbf{P}& =\frac{1}{2}((\frac{cos\mathbf{\Theta }-\mathcal{K}cos{\mathbf{\Theta }}_t}{cos\mathbf{\Theta }+\mathcal{K}cos{\mathbf{\Theta }}_t}{)}^2+(\frac{cos{\mathbf{\Theta }}_t-\mathcal{K}cos\mathbf{\Theta }}{cos{\mathbf{\Theta }}_t+\mathcal{K}cos\mathbf{\Theta }}{)}^2)\end{array}\text{\hspace{1em}(3)}$$其中，$k$是衰减系数，其代表了玻璃的颜色；$L$是光穿过玻璃经过的距离，其取决于玻璃的厚度；$\mathcal{K}$是折射率；$\mathbf{\Theta }$是对于玻璃的入射角；${\mathbf{\Theta }}_t$根据斯奈尔【Snell】定律，其值为$arcsin(sin\mathbf{\Theta }/\mathcal{K})$。对于常见的玻璃，$k$通常取值在$4m^{-1}$到$32m^{-1}$之间且$\mathcal{K}=1.474$。根据第二部分的介绍，一般的图像建模取$\mathbf{A}=0$且$\mathbf{\Omega }+\mathbf{\Phi }=1$，其忽略了吸收效应。对于图像反射去除问题，不依赖于$\mathbf{\Omega }$与$\mathbf{\Phi }$的假设会使结果变差，尤其是$\mathbf{T}$的整体亮度估计的准确度。相反的，本文考虑一般的图像模型中，$\mathbf{A}\ne 0$。
  从$\mathbf{A}$中直接解出$\mathbf{I}$是一个非平凡任务，因为$\mathbf{A}$的矩阵形式以及$\mathbf{A}$与$\mathbf{I}$在真实世界的关系。本文假设反射占据整个光滑玻璃，其均匀，各向同性且充满相机的整个视野。基于这种假设，考虑一个标量$e$，其是$\Omega$的均值，用于在5.1节量化的估计吸收效应。其中，$\mathbf{\Omega }$可以近似的被分解为$e$与矩阵$\mathbf{O}$的积，有$$\mathbf{\Omega }=e\mathbf{O}\text{\hspace{1em}(4)}$$其中，$\mathbf{O}$的所有元素趋近于一。

---

四、提议方法
  根据第三部分的分析，可以将式(1)的图像建模描述为$$\mathbf{I}=e\mathbf{O}\mathbf{T}+\mathbf{\Phi }\mathbf{R}\text{\hspace{1em}(5)}$$作为在现实世界波动的内容无关变量$e$（如图3.f所示），本文认为精确的估计$e$有助于解决图像反射去除问题，并提出两步解决方案：$$\begin{array}{rl}& g:\mathbf{I}\to e,\\ & h_1:(\mathbf{I},e)\to \mathbf{O}\mathbf{T},h_2:\mathbf{O}\mathbf{T}\to \mathbf{T}\end{array}\text{\hspace{1em}(6)}$$其中，第一步通过网络$g$从$\mathbf{I}$中估计$e$，而第二步通过网络$h_1$在$e$的辅助下从$\mathbf{I}$中复原$\mathbf{O}\mathbf{T}$，通过网络$h_2$从$\mathbf{O}\mathbf{T}$中复原$\mathbf{T}$。

4.1 估计吸收效应
  因为CNN通常用于基于图像内容提取特征，使用网络$g$从$\mathbf{I}$估计内容无关变量$e$并不是一个平凡问题。为此，网络$g$使用成对的$\mathbf{O}\mathbf{T}$进行训练，以聚焦于内容无关特征（如图1虚线框部分所示）。其思想是尽管$\mathbf{O}\mathbf{T}$与$\mathbf{I}$拥有相似的传播图像内容，但具有不同的$e$，例如$g(\mathbf{I})$应该为$e$然而$g(\mathbf{O}\mathbf{T})$应该为$1$。因此，内容无关变量$e$的特征期望通过有监督方法被学习。尽管该方案有利于隔离传输图像的内容特征，但是其可能使网络$g$聚焦于反射图像的内容（如$\mathbf{\Phi }\mathbf{R}$）。因为$\mathbf{I}$与$\mathbf{O}\mathbf{T}$的差异包括$e$与$\mathbf{\Phi }\mathbf{R}$。接下来展示缓和反射图像内容的影响并通过设计网络$g$与损失函数$L_{\Psi }$聚焦于$e$。
  图1，两步解决方案总览。在第一步，网络$g$将$\mathbf{I}$与$\mathbf{O}\mathbf{T}$作为输入，并分别输出$e_{pre}$与$e_{pre}^{\prime }$。第二步，网络$h$连接$\mathbf{I}$与空域重复的$e_{pre}$，并输出${\mathbf{T}}_{pre}$。${\mathbf{\Psi }}_i$与${\mathbf{\Psi }}_i^{\prime }$是网络$g$不同隐藏层的输出。注意到网络$g$的两支在训练时共享权重，虚线框部分在推测时不活动。ZC与BN模块分别执行零均值与批归一化。

  图2展示了真实数据的两组$(\mathbf{I},\mathbf{R},\mathbf{\Phi }\mathbf{R})$，可以观察到：强反射占据了稀疏空余的主导地位，这些区域中的$\mathbf{I}$的亮度远高于$\mathbf{T}$（红色区域）；剩余的弱反射连续的分布，在$\mathbf{I}$与$\mathbf{T}$的亮度具有接近且较小的值（蓝色区域）。基于这种观察，网络$g$被设计为：使用ReLU6用于去除强反射产生的较大的值；ZC【Zreo-center】操作用于减少弱反射的影响。网络$g$使用自由偏置的卷积神经网络更好的将$e$从$\mathbf{I}$中传播。

  图2，SIR数据的图示，从左至右：$\mathbf{I}$, $\mathbf{T}$, $\mathbf{\Phi }\mathbf{R}$。强或弱反射被红或蓝框标记。

  近似的，有$ReLU6(a\mathbf{x}+\mathbf{y})=aReLU6(\mathbf{x})+ReLU6(\mathbf{y})$，其中标量$a$位于$[0.7,1]$的范围，而$\mathbf{x}$与$\mathbf{y}$是两个张量。本文的网络设计带来了如下近似：$${\mathbf{\Psi }}_i\approx e{\mathbf{\Psi }}_i^{\prime }+{\mathbf{\Delta }}_i,\forall i=1,2,3,4,5\text{\hspace{1em}(7)}$$其中，$\mathbf{\Psi }$是如图1所示的隐藏层的输出，${\mathbf{\Delta }}_i$定义为$${\mathbf{\Delta }}_i=\{\begin{array}{rlrl}& \mathbf{\Phi }\mathbf{R},& & i=0\\ & ZC(ReLU6(\mathbf{w}\ast {\mathbf{\Delta }}_{i-1})),& & i=1,2,3,4,5\end{array}\text{\hspace{1em}(8)}$$其中，$\mathbf{w}$是学习到的卷积核。ReLU6消除了大的值，ZC减去了平均值，因此${\mathbf{\Delta }}_i$随着$i$的增加趋近于零。随着${\mathbf{\Delta }}_i$从$\mathbf{\Phi }\mathbf{R}$得到信息，反射图像的内容随着${\mathbf{\Delta }}_i$趋近于零而减少。式(7)表明$e$可以在深层中顺利的传播。
  为了在训练中令${\mathbf{\Delta }}_i$逼近于零，通过损失函数$L_{\Psi }^i$限制$\mathbf{\Psi }$，形如$$L_{\Psi }=\sum _{i=1}^5{\lambda }_i{L}_{\Psi }^i=\sum _{i=1}^5{\lambda }_i||BCE({\mathbf{\Psi }}_i/{\mathbf{\Psi }}_i^{\prime },e_{gt})||\text{\hspace{1em}(9)}$$其中，$/$为元素级除法，$BCE$代表二值交叉熵损失函数，应用于矩阵${\mathbf{\Psi }}_i/{\mathbf{\Psi }}_i^{\prime }$与标量$e_{gt}$，且${\lambda }_i$为权重，值为{0.2,0.8,2,3,4}\{0.2, 0.8, 2, 3, 4\}{0.2,0.8,2,3,4}。
  总而言之，二支训练策略准确的剥离了传播图像的内容特征。网络$g$与损失函数$L_{\psi }$消除了反射图像的内容影响。这些设计辅助$e$通过神经网络$g$传播，得到了准确的估计。

4.2 传播图像复原
  网络$h_1$优化使得$h_1(\mathbf{I},e)=\mathbf{O}\mathbf{T}$成立。变量$e$连续分布于整个空间，因此约束$$\begin{array}{rl}& \forall e\in \mathbb{E},h_1(\mathbf{I},e)=\mathbf{O}\mathbf{T}\\ & s.t.\mathbf{I}=f_{\mathbf{I}}(e)=e\mathbf{O}\mathbf{T}+\mathbf{\Phi }\mathbf{R}\end{array}\text{\hspace{1em}(10)}$$该约束确保了空间$\mathbb{E}$的所有$e$都满足$h_1(\mathbf{I},e)=\mathbf{O}\mathbf{T}$而非某个单一值$e_0$，这用于泛化的先验学习不同的吸收效应。接下来说明式(10)的约束可以通过保证函数$s(e)=f_{\mathbf{I}}(e),e\in \mathbb{E}$是一个初始值问题$$\{\begin{array}{rl}& h_1(s(e),e)=ds/de\\ & {\mathbf{I}}_0=s(e_0)\end{array}\text{\hspace{1em}(11)}$$的唯一解达成，其中$({\mathbf{I}}_0,e_0)$来源于训练数据。
  如果训练网络$h_1$使得$f_{\mathbf{I}}(e)$是式(11)中初始值问题的唯一解，那么有$h_1(f_{\mathbf{I}}(e),e)=ds/de=\mathbf{O}\mathbf{T}$，而式(10)的约束也被保证。反之，$s(e)$的导数不能保证唯一，并且$h_1(s(e),e)$或$h_1(\mathbf{I},e)$不能必然等于$\mathbf{O}\mathbf{T}$。因此，式(10)的约束不能确保满足。显然的，由于使用数据训练$h_1$用于满足$f_{\mathbf{I}}(e)$，$f_{\mathbf{I}}(e)$是式(11)中初始值问题的一个解。因此，确保式(10)约束的关键在于解$f_{\mathbf{I}}(e)$的单值性。
  根据柯西-利普希茨【Cauchy-Lipschitz】理论，只有$h_1$满足利普希茨条件的约束，才可以得到唯一解。给定$\mathbf{I}\in \mathbb{U}$，利普希茨条件表示为$$|h_1({\mathbf{I}}_1,e)-h_1({\mathbf{I}}_2,e)|\le M|{\mathbf{I}}_1-{\mathbf{I}}_2|,\forall ({\mathbf{I}}_1,e),({\mathbf{I}}_2,e)\in \mathbb{U}\times \mathbb{E}\text{\hspace{1em}(12)}$$其中$M$是利普希茨常数。如果函数$h_1$满足式(12)，称之为M-利普希茨函数，本文设置$M$为1。深度神经网络可以使用梯度惩罚实现利普希茨条件约束，可微函数是一个1-利普希茨函数当且仅当其梯度的范数至多为1。
  相似的，限制$h_2$为1-利普希茨可微函数，例如使用梯度惩罚函数，惩罚反射失真图像$\hat{\mathbf{I}}$的梯度$$L_{Con}=(||{\nabla }_{\hat{\mathbf{I}}}{h}_1(\hat{\mathbf{I}},\hat{e})||-1{)}^2,\forall \hat{\mathbf{I}}\in \mathbb{U},\forall \hat{e}\in \mathbb{E}\text{\hspace{1em}(13)}$$其中$\mathbb{U}$代表反射失真图像的子空间。构建$\hat{\mathbf{I}}=\mathbf{I}+{ϵ}_1\mathbf{O}\mathbf{T}$，其中${ϵ}_1\sim U[-0.1,0.1]$，其中$U$代表均匀分布。这使得$\hat{\mathbf{I}}=({ϵ}_1+e)\mathbf{O}\mathbf{T}+\mathbf{\Phi }\mathbf{R}$是带有吸收效应${ϵ}_1+e$的反射失真图像。因此，有$\hat{\mathbf{I}}\in \mathbb{U}$。构建E={e^∣e^=ϵ2egt+(1−ϵ2)epre}\mathbb E = \{\hat e|\hat e = \epsilon_2e_{gt} + (1 - \epsilon_2)e_{pre}\}E={e^∣e^=ϵ2​egt​+(1−ϵ2​)epre​}，其中${ϵ}_2\sim U[0,1]$。这种构造线性的采样真实和估计分布。
  将$h_1$与$h_2$网络连接为$h$，并将梯度惩罚损失函数应用到$h$以近似的应用到$h_1$。这样的近似是有理由的，因为$h$的梯度被惩罚代表$h_1$的梯度也期望被惩罚。
  梯度惩罚损失函数保证了式(11)初始值问题的唯一解，从而确保了式(10)的约束，有助于泛化学习具有不同吸收效应与场景的有限的训练数据与真实数据。

4.3 损失函数
  本文使用交替优化的策略迭代的训练$g$与$h$。为了更好的考虑吸收效应估计，更新$g$一次之后更新$h$五次。$g$与$h$的损失函数分别为$$\begin{array}{rl}& L_g=L_T+{\lambda }_e(L_e+L_e^{\prime })+\sum _{i=1}^5{\lambda }_i{L}_{\Psi }^i\\ & L_h=L_T+{\lambda }_{gp}{L}_{Con}\end{array}\text{\hspace{1em}(14)}$$其中$L_T$是复原损失函数，$L_e$是二值交叉熵损失函数$$L_T=D({\mathbf{T}}_{pre},{\mathbf{T}}_{gt}),L_e=BCE(e_{pre},e_{gt}),L_e^{\prime }=BCE(e_{pre}^{\prime },1)\text{\hspace{1em}(15)}$$其中，${\mathbf{T}}_{pre}=h(\mathbf{I},e_{pre})$，$e_{pre}=g(\mathbf{I})$。$D$是一个预定义的度量，用于衡量${\mathbf{T}}_{pre}$与${\mathbf{T}}_{gt}$的相似度$$D({\mathbf{T}}_{pre},{\mathbf{T}}_{gt})=l_{per}-{\lambda }_{psnr}{l}_{LSNR}-l_{SSIM}-l_{SI}\text{\hspace{1em}(16)}$$其中，${\lambda }_{psnr}$设置为$1/40$用于平衡$l_{SSIM}$与$l_{SI}$的值。预定义的度量$D$综合考虑常见的适合的度量，如VGG-16模型中的感知损失$l_{per}$；峰值信噪比【Peak Signal-to-Noise Ratio，PSNR】与结构相似性【Structural SIMilarity，SSIM】也广泛用于衡量图像的差异。
  图1展示了$g$与$h$的网络架构，批尺寸为16，${\lambda }_e=0.5$，${\lambda }_{gp}=10$，使用Adam优化器，参数为${\beta }_1=0.5,{\beta }_2=0.999$。起始100轮次的学习率为0.0001，并在接下来的100轮次中衰减到0.00005。

---

五、实验
  使用四个真实的数据集进行评估，其具有不同的吸收效应（已于第三章介绍）。SIR数据集包含454个测试样本且其中的120个通过三种不同厚度的玻璃获取，本文使用SIR的子集：厚SIR；ZC20数据集包含160个具有使用五种不同方位的玻璃获取的样本；LY20数据集包含220个样本，部分由两种不同厚度与不同方位的玻璃获取；ZN18数据集包含109个测试样本，部分由两种不同方位的玻璃获取。
  本文比较的方案包含七种SOTA的图像反射去除方案，包括基于优化的YM19，与基于深度学习的ZN18，WS19，WY19，WT19，KH20，LY20。
  度量方案使用SSIM与PSNR作为误差度量。此外，引入亮度相似性指数均值【average of Intensity Similarity index，IS】评估精确的全局亮度相似性。本文的关键之处为吸收效应$e$，亮度相似性聚焦于图像$\mathbf{x}$与$\mathbf{y}$的亮度相似度，其定义为SSIM的一个因子$$IS(\mathbf{x},\mathbf{y})=\frac{2{\mu }_x{\mu }_y+c}{{\mu }_x^2+{\mu }_y^2+c}\text{\hspace{1em}(17)}$$其中${\mu }_x$是$\mathbf{x}$的均值，${\mu }_y$同理。$c$是一个默认值的常数。

5.1 合成训练数据
  基于式(1)，使用Place365的18224个样本作为$\mathbf{T}$，来自CRRN的5552个样本作为$\mathbf{R}$，通过蒙特卡洛仿真形成的18224组{Ω,Φ}\{\bm\Omega, \bm\Phi\}{Ω,Φ}生成数据集。相机模型由图3.a展示。有工作表明水平全视野相机$p_f$（设输入尺寸比例2：3）、折射率$\mathcal{K}$、玻璃的方位（由$p_{o1}$与$p_{o2}$的三角函数及其运算代表）共同决定了$\mathbf{\Omega }$与$\mathbf{\Phi }$。其他的工作假设$\mathbf{A}=0$但本文将$\mathbf{A}$的估计考虑在内，此外本文考虑玻璃的宽度$p_w$、相机与玻璃的距离$p_d$、玻璃的厚度$p_t$以及玻璃的衰减系数$k$。这些输入通过蒙特卡洛仿真基于均匀分布生成。图3.b展示了本文使用的变量范围，其根据日常生活的观察设定。
  为了展示吸收效应可以被$\mathbf{\Omega }$的均值量化的估计，本文额外生成了10000组{Ω,Φ,A}\{\bm\Omega, \bm\Phi, \bm A\}{Ω,Φ,A}用于分析。注意到，根据式(3)，对于不同的入射角度，$\mathbf{A}$的所有元素都趋于一致。其可以表示为$a=f_A(\theta ,k,L)$，如图3.c所示，其中$a$是$\mathbf{A}$的元素，$\theta$是对应的入射角，$k$与$L$满足所给的$\mathbf{I}$（假设光滑玻璃）。定义吸收代数$\eta =avg(\mathbf{A})$，那么$\eta$可以近似的代表吸收系数$\mathbf{A}$。本文研究了$\eta$与{Ω,Φ}\{\bm\Omega, \bm\Phi\}{Ω,Φ}的关系，图3.d与3.e展示了10000组{η,avg(Ω),std(Ω),avg(Φ),std(Ω)}\{\eta, avg(\bm\Omega), std(\bm\Omega), avg(\bm\Phi), std(\bm\Omega)\}{η,avg(Ω),std(Ω),avg(Φ),std(Ω)}的仿真结果。$\eta$广泛的分布表明了真实世界吸收效应的波动。对应的，$avg(\mathbf{\Phi })$与$std(\mathbf{\Phi })$狭窄的分布表明$\eta$与$\mathbf{\Phi }$的较弱的关系。且由于$std(\mathbf{\Omega })$的狭窄分布及其较小值，$\mathbf{\Omega }$的元素趋于一致。因此定义$e=avg(\mathbf{\Omega })$并聚焦于$e$与$\eta$的关系。图3.f展示了其关系的分析，基于$e$与$\eta$的双射，使用$e$作为吸收效应的量化估计。

  图3，a.蒙特卡洛仿真的相机模型；b.蒙特卡洛仿真输入变量的分布与单位；c.函数$a=f_A(\theta ,k,L)$曲线，其中$a$是$\mathbf{A}$的元素，$\theta$是对应的入射角，$L=9mm$；d与e.10000个随机生成的$\eta$，$\mathbf{\Omega }$与$\mathbf{\Phi }$的均值与方差的分布；f.吸收代数$\eta$与$e$的相关性分析结果。

5.2 图像模型验证
  使用本文的数据集重新训练的基于学习的方法，并在测试集上比较预训练的模型。由于本文与相关工作的生成图像模型不同，表现结果只是用于评估图像模型的有效性。表1展示了重训练与预训练模型的平均SSIM。可以观察到，重训练模型的27种情况中，24项相比之下表现更优。

  表1，重训练与预训练的平均SSIM差异（$\times 10^{-3}$），正数表示表现改善。/表示指定方法的模型使用指定数据集训练。

5.3 全局表现
  表2展示了每个测试集上预训练与重训练模型中更好的指标。可以观察到，所有的数据集中，本文的方法都达到了最好的表现。图4展示了视觉上的质量比较。可以观察到，YM19产生过于平滑的结果；ZN18图像复原时产生了颜色失真；WS19推测了更暗的结果；WT19、WY19、KH20与LY20没有移除反射失真，并产生了不准确的全局亮度。相比之下，本文不仅移除了反射失真，且复原了由于吸收效应产生的亮度失真。本文的方法基于考虑吸收效应，达到了SOTA的效果。

  表2，对于反射失真移除任务，不同数据集上各个模型不同指标的比较。最好与次好的表现分别标记为红色与蓝色。

  图4，不同数据集上各个模型的视觉质量比较。颜色框标记了较显著的差异。

5.4 剪切学习
  为了验证本文方法各部分的有效性，使用两种方法：单支方法，网络$g$仅将$\mathbf{I}$作为输入并在训练中不使用损失函数$L_{\psi }$；w/o-Con方法，网络$h$不使用式$(10)$的约束条件以及损失函数$L_{gp}$。
  如表2与图4所示，参考IS，两支训练有助于估计更加准确的$e$，使得$\mathbf{T}$的全局亮度更加准确的还原。图5左可以更加的显示不同测试集下的IS分布。可以观察到，本文的方法表现优于单支方法与其他SOTA方法。如图5右的视觉质量比较展示了本文方法更加准确的考虑到全局亮度并复原$\mathbf{T}$。

  图5，左：不同测试集上所有测试样本上各个模型的IS；右：各个模型的预测图像与真实图像的IS图，其对应图像如图4所示。颜色狂标记了较显著的不同。

  网络$h$满足利普希茨条件可以满足式(10)的约束从而提高泛化能力。如表2与图4所示，本文的方法较w/o-Con方法稍有更好的结果。为了验证其优势，减少训练样本，这可以突出数据驱动方法泛化能力。分别使用$1/10$与$1/20$的样本，分别称为中型与小型，而原始数据量称为大型。基于$e$的约束，使用IS作为度量。图6展示了不同训练集尺寸的变化。可以观察到，本文的方法较w/o-Con方法的泛化能力更强。

  图6，本文方法（红色曲线）与w/o-Con方法（蓝色曲线）在不同数据集上使用不同尺寸数据集（大，中，小型）的IS结果。

---

六、结论
  本文重建了吸收效应的图像模型，并提出两步解决方案用于反射失真去除，达到了SOTA的效果。然而，由于从$\mathbf{I}$中估计吸收效应$e$是一个不适定问题，$e$的估计是不准确的。其受到未知图像内容与相机的图像信号处理过程的不确定影响。另一方面，吸收效应的简化使得使用真实数据直接验证模型变得困难。