【CVPR2017】DeshadowNet: A Multi-context Embedding Deep Network for Shadow Removal

DeshadowNet：用于阴影去除的多上下文嵌入深度网络

摘要

阴影去除是一项具有挑战性的任务，因为它需要检测/标注阴影以及对场景进行语义理解。在本文中，我们提出了一种自动的端到端深度神经网络（DeshadowNet），以统一的方式解决这些问题。DeshadowNet采用多上下文架构设计，通过从三个不同的视角嵌入信息来预测阴影蒙版。第一个全局网络从全局视角提取阴影特征。从全局网络导出两个层次的特征，并将其传输到两个并行网络。其中一个网络提取输入图像的外观信息，另一个网络则涉及语义理解以进行最终预测。这两个互补的网络生成多上下文特征，从而获得具有精细局部细节的阴影蒙版。为了评估所提方法的性能，我们构建了首个包含3088对图像的大规模基准数据集。在两个公开可用的基准数据集和我们的大规模基准数据集上进行的大量实验表明，所提方法优于几种最先进的方法。

图1：与现有阴影去除方法的比较。现有方法无法正确去除阴影。（图中 (a) 为图像，(b) 为阴影蒙版，© 为真实值 (GT)，(d) 为 Guo [15] 的方法结果，(e) 为 Arbel [1] 的方法结果，(f) 为 Yang [33] 的方法结果，(g) 为 Gong [12] 的方法结果，(h) 为本文方法结果）

1. 引言

图像中光照变化的存在，尤其是阴影，已被证明是各种计算机视觉任务（如目标检测和跟踪[6, 24]）面临的主要挑战因素之一。因此，阴影去除旨在根据单幅有阴影图像生成高质量的无阴影图像。根据[3, 31, 21, 1]，有阴影图像$I_s$可以看作是无阴影图像$I_{ns}$和阴影蒙版$S_m$（或阴影比例因子）的逐像素乘积： $I_s=S_m\cdot I_{ns}(1)$ 其中，阴影蒙版$S_m$表示由阴影引起的光照衰减效应。

通过公式（1），阴影去除过程转化为为输入的有阴影图像估计阴影蒙版。大多数现有方法遵循这种公式来解决阴影去除问题[31, 21, 1, 15, 12, 19]。尽管取得了一定成功，但这些方法存在以下三个局限性。

1.1 缺乏全自动的端到端流程

现有的阴影蒙版估计方法需要阴影位置的先验信息。它要么从阴影检测中获得[15, 19]，要么通过用户输入[31, 1, 14, 12, 34]。然而，阴影检测本身就是一项具有挑战性的任务。传统的阴影检测方法要么缺乏鲁棒的阴影特征[35, 20, 15]，要么只能应用于高质量图像[8, 30]。由于训练数据量有限，最近基于深度学习的方法[26, 19]局限于小型网络架构。

1.2 忽略高级语义信息

现有工作主要采用低级特征（例如颜色比率[15, 12]或颜色统计信息[31, 19]）来计算阴影蒙版。然而，阴影蒙版也与语义内容（例如几何形状和材质）密切相关。如图1a至1c所示，水平地面和垂直树干这两个语义区域上的阴影蒙版值明显不同，因为这两个语义区域的光强不同。不幸的是，现有方法[1, 15, 12]没有考虑这种语义信息，导致结果不理想（图1d至1g）。

1.3 需要对半影区域进行特定操作

由于阴影蒙版的内容在本影和半影区域可能不同，以前的方法通常采用用户提示[5, 31]或分类方法（例如双向搜索[12]和阈值操作[19]）来区分它们。然而，自动识别本影和半影区域是困难的，特别是对于一些复杂的背景或微小的阴影（例如树叶的阴影）。

在本文中，我们旨在探索一种端到端的全自动框架来进行阴影去除，以解决上述问题。与传统的先检测阴影、分类本影/半影区域然后去除阴影的流程不同，我们将这些步骤统一为一个步骤，直接学习有阴影图像与其阴影蒙版之间的映射函数，然后可以使用公式（1）恢复无阴影图像。为此，我们提出了一种新的用于阴影去除的深度神经网络，称为DeshadowNet。它涉及一种多上下文嵌入机制，在最终预测中整合了高级语义信息、中级外观信息和局部图像细节。多上下文嵌入是通过联合训练三个网络实现的，即全局定位网络（G-Net）、外观建模网络（A-Net）和语义建模网络（S-Net）。G-Net提取阴影特征表示，以描述场景的全局结构和高级语义上下文。A-Net和S-Net分别从G-Net的较浅层和较深层获取外观信息和语义信息，从而能够利用多上下文信息预测精细的阴影蒙版。所提出的包含三个子网络的DeshadowNet结构如图2所示。

为了评估不同的阴影去除算法，我们进一步构建了一个具有挑战性的大规模阴影去除数据集（SRD）。它包含3088对有阴影和无阴影的图像。

2. 相关工作

图2：DeshadowNet 的架构。DeshadowNet 由三个协作子网络组成：全局定位网络（G-Net）、外观建模网络（A-