[论文解读 2021-TIP] Revisiting Shadow Detection: A New Benchmark Dataset for Complex World

该论文聚焦于影子的分割（segmentation），创新点在于提出新的数据集和一种局部特征增强方法。

创新点1：自建的数据集CUHK-Shadow：

1. 数据集的特点

• 10500张带标签的图片；更复杂的场景；
• 包含了投射到背景物体上的投影，也包含了投射到自身的投影；
• 提供了测试集；
• 数据集里的图片有5个不同的来源，分别是ADE20K、KITTI、Google MAP、USR、Internet，每个部分都有独立的划分出数据集，在后文作者的实验部分即对总体数据集进行了性能的评估，也分别对五个部分独立地进行了试验评估。
  

2. 数据集的复杂性

2.1 阴影面积的相对于图片总面积的占比（更复杂）

2.2 每幅图片的阴影个数更多、方差更大

2.3 阴影区域有着更均匀的空间分布

2.4 非阴影区与阴影区的颜色对比度（比以往的数据集更低）

PS. 现有的数据集

3. 评价指标：

3.1 Balanced error rate (BER)【越小越好】

传统的BER指标用来评价二分类（0/1）结果，于是对指标进行一些改进来适用连续（0~1）的预测结果：

3.2 f_β^ω【越大越好】

创新点2：Fast shadow detection network (FSDNet)

3.1 骨干网络：MobileNet V2【先前已有的工作】

首先，使用 MobileNet V2 作为具有一系列反向残差瓶颈 (IRB) 的主干来提取多个尺度的特征图。 每个 IRB 包含一个 1×1 卷积、一个 3×3 深度卷积和另一个 1×1 卷积，并通过跳跃连接添加输入和输出特征图。 此外，它在每次卷积后采用批量归一化，在前两次卷积后采用 ReLU6。 其次，我们在主干的最后一个卷积层之后使用方向感知空间上下文 (direction-aware spatial context, DSC) 模块来收集 DSC 特征，其中包含用于识别阴影的全局上下文信息。

3.2 细节增强模块：Detail Enhancement Module (DEM)【独创性工作】

图 7 显示了细节增强模块（DEM）的结构。 以低级特征 FL 和 DSC 特征 FD 作为输入，它首先通过 1×1 卷积减少 FD 的特征通道数，并将其上采样到 FL 的大小。 然后，我们计算门图(gate map) G 以根据 DSC 特征和低级特征之间的距离来衡量细节结构的重要性：

$$G=\alpha \ast log(1+(FL-FD{)}^2)$$

其中$(FL-FD{)}^2$表示两个特征之间的距离，由对数函数重新缩放。 然后，引入可学习参数α来调整门图的比例。 最后，我们将门图G与输入的低级特征 FL 相乘以增强空间细节并产生精细的低级特征 FE。这个模块只引入了很少参数（一个1×1的卷积和参数α），所以计算时间可以忽略不计。

3.3 消融实验

• basic：直接使用backbone的最后一层直接预测阴影
• basic+DSC：增加DSC模块聚合全局特征
• FSDNet-high-only：不使用多尺度的特征，直接使用high-leve特征预测阴影的mask
• FSDNet w/o DEM：不使用DEM，直接对low-level、middle-level、high-level特征拼接

3.4 模型的对比