（二十八）论文阅读 | 目标检测之SWN

最新推荐文章于 2021-10-27 23:16:11 发布

zhangts20

最新推荐文章于 2021-10-27 23:16:11 发布

阅读量904

点赞数 1

分类专栏：论文阅读文章标签：深度学习人工智能

本文链接：https://blog.youkuaiyun.com/Skies_/article/details/107144627

版权

论文阅读专栏收录该内容

54 篇文章

订阅专栏

简介

在这里插入图片描述

图1：论文原文

文本介绍的是 ${\rm CVPR\ 2020}$ 的一篇关于目标检测的文章。论文的关注点是目标检测算法中的样本采样，提出一种加权采样的损失函数。该损失函数用于学习采样的权重，在分类损失、回归损失、交并比和置信度之间作了有效的平衡。论文主要以 ${\rm Faster\ RCNN}$ 、 ${\rm Mask\ RCNN}$ 和 ${\rm RetinaNet}$ 为基础网络作对比，使用 ${\rm SWN}$ 后的模型均获得了提升。论文原文源码

1. Introduction

目标检测是一个多任务的学习过程，主要由目标的分类和定位组成。其中涉及到区域采样（使用滑动窗口或 ${\rm RPN}$ ）、区域分类、区域回归和非极大值抑制等。基于区域采样，首先目标检测被转换成一个分类问题，旨在从大量区域中找到合适的区域用于分类和回归。根据不同的区域采样方法，目标检测可以分为一阶段检测算法和两阶段检测算法。通常，两阶段检测算法的精度更高，而一阶段检测算法的实时性更好。

在目标检测中，通常会遇到前景和背景的采样区域数量极不匹配的情况。两阶段检测算法的做法是采样固定比例的正负样本和难例挖掘；而由于一阶段算法中存在的大量易分样本（采样区域内仅包含背景），上述两种方法并不能很好地应用于其中。另一种解决样本不平衡的方法是从损失函数入手，其中典型的工作就是 ${\rm Focal\ Loss}$ ，它通过对不同性质的样本损失赋予不同权重从而达到缓解不平衡问题的目的。

前面提到的难例是指那些分类损失较大的样本（难例挖掘就是采样那些损失较大的样本，模型容易将这些负样本分类成正样本。通过让网络去反复学习此类样本，以不断增强网络的鲁棒性），下图展示了论文提出的 ${\rm SWN}$ 的采样结果：在这里插入图片描述

图2：采样

图 ${\rm (a)}$ 中的样本具有很高的损失，但它的权重很低（降低了难例样本的权重）；而图 ${\rm (b)}$ 和 ${\rm (a)}$ 的情况相反（增加了易分样本的权重）。同时，由图 ${\rm (c)}$ 我们可以看到：交并比高的样本，其分类置信度并不一定会很高。后续提出的 ${\rm IoU}$ - ${\rm Net}$ 和 ${\rm KL}$ - ${\rm Loss}$ 等工作用于解决上述问题。

样本加权是一个复杂且动态的过程（随着训练迭代的进行，样本的正负性可能随之发生改变），作者认为样本的加权应该与数据本身和任务相关联：第一，基于同真实框的关系以及损失值确定采样样本；第二，采样的权重应该兼顾分类和回归。基于以上思路，论文提出统一样本加权网络， ${\rm SWN}$ 。它是一种简单高效的学习采样权重的方法，同时也平衡了分类和回归任务。具体来说，除了基本的检测组件外， ${\rm SWN}$ 还添加一个样本加权网络来预测样本的分类权重和回归权重。该加权网络以分类损失、回归损失、交并比和置信度作为输入，将样本的上下文转换为样本的权重。

2. Related Work

相关工作部分首先介绍了基于区域的目标检测算法，其可以分为两阶段检测算法如 ${\rm R}$ - ${\rm CNN}$ 系列、 ${\rm RPN}$ 等和一阶段检测算法如 ${\rm YOLO}$ 系列和 ${\rm SSD}$ 等。论文提出的 ${\rm SWN}$ 能够迁移迁移至上述两种模型中，且不会过多增加计算量的同时带来模型性能的提升。

区域采样和加权策略在目标检测中扮演重要角色。随机采样的方法以固定的比例采样正负样本，但并非所有样本的重要性都相同。事实上，大多数负样本很容易被分类出来，这就有了后来常用的在线难例负样本挖掘( ${\rm OHEM}$ )和基于 ${\rm IoU}$ 的样本采样方法。 ${\rm Focal}$ - ${\rm Loss}$ 的思路是为不同性质的样本赋予不同的权重，以此达到样本的平衡。近来，也有不少工作将关注点放在易分样本上。基于此，论文提出一种样本加权策略，同时设计一个通用的损失函数，且样本权重通过学习得到。

3. A Unified Sample Weighting Network

3.1 Review of Sampling Strategies

基于区域的目标检测损失函数如下，其中 $\mathcal{A}$ 表示相应的一组 ${\rm Anchor}$ ： $L=\frac{1}{N_1}\sum_{\{i:a_i\in \mathcal{A}^{cls}\}}L_i^{cls}+\frac{1}{N_2}\sum_{\{i:a_i\in \mathcal{A}^{reg}\}}L_i^{reg}\tag{1}$

现在令 $s_i^{cls}$ 和 $s_i^{reg}$ 分别表示分类和回归损失的权重，即： $L=\frac{1}{N_1}\sum_{\{i:a_i\in \mathcal{A}^{cls}\}}s_i^{cls}L_i^{cls}+\frac{1}{N_2}\sum_{\{i:a_i\in \mathcal{A}^{reg}\}}s_i^{reg}L_i^{reg}\tag{2}$

其中， $s_i^{cls}=I[a_i\in \mathcal{A}^{cls}]$ 、 $s_i^{reg}=I[a_i\in \mathcal{A}^{reg}]$ ， $I [\cdot]$ 表示指示函数。则可以用 $S^{cls}=\{s_i^{cls}\}$ 和 $S^{reg}=\{s_i^{reg}\}$ 表示所有的样本权重。

3.2 Problems in Existing Sampling Approaches

3.2.1 RPN, Random Sampling and OHEM

在 ${\rm RPN}$ 中，样本的分类权重定义为： $s_i^{cls}=I[p(a_i)>\rho]*I[a_i\in \mathcal{A}_{NMS}]$ 。前一项用于滤除置信度低于设定阈值 $\rho$ 的 ${\rm Anchor}$ ，后一项表示经 ${\rm NMS}$ 处理后的 ${\rm Anchor}$ 。随机采样的做法是分别在 $\mathcal {A}^P$ 和 $\mathcal {A}^N$ 中随机采样 $n_p$ 个正样本和 $n_n$ 个负样本。其中， $n_p$ 和 $n_n$ 都是事先确定的值。这样，被采样样本的损失权重为 $1$ ，其余的为 $0$ 。另一种采样做法是 ${\rm OHEM}$ ，它首先将正样本和负样本按照损失值的降序排列，然后将 ${\rm top}$ - $n_p$ 的正样本和 ${\rm top}$ - $n_n$ 的负样本的权重设定为 $1$ ，其余的为 $0$ 。这里，样本的分类权重定义为： $s_i^{reg}=I[s_i^{cls}=1]*I[a_i\in \mathcal{A}^P]$ 。前一项保证回归损失的计算只基于正样本。

3.2.2 Focal-Loss and KL-Loss

在 ${\rm Focal}$ - ${\rm Loss}$ 中，分类损失的权重的定义如下： $s_i^{cls}=(1-p(a_i))^\gamma$ ；回归损失的权重的定义如下： $s_i^{reg}=I[a_i\mathcal\in \mathcal{A}^P]$ 。在 ${\rm KL}$ - ${\rm Loss}$ 中，回归损失的权重的定义如下： $s_i^{reg}=1/\sigma_i^2$ ，分类损失的权重同随机采样和 ${\rm OHEM}$ 。

给定一组 ${\rm Anchor}$ 为 $\mathcal{A}=\mathcal{A}^P\cup\mathcal{A}^N$ ，加权采样的目的是找到 $S^{cls}$ 和 $S^{reg}$ 来提升模型性能。现在来考虑目标检测中的两个重要元素， ${\rm NMS}$ 和 ${\rm mAP}$ 。如下图：
在这里插入图片描述

图3：NMS

如上图，根据 ${\rm NMS}$ ，首先边界框 $C$ 将被滤除；而对于 ${\rm OHEM}$ ，由于 $C$ 具有较高的损失值，它会被保留。给予难例样本，如 $C$ 太大的权重并不是一个合理的方案。对于 ${\rm Focal}$ - ${\rm Loss}$ ，它会给 $A$ 和 $B$ 赋予相同的分类权重。但考虑到 $A$ 的交并比比 $B$ 更大，理想的方案是给 $A$ 赋予更大的权重。而对于 ${\rm KL}$ - ${\rm Loss}$ ，它根据边界框的不确定性赋予回归损失权重，而忽略了分类损失的权重。

基于上述提到的种种，论文提出通过数据驱动的角度联合学习分类和回归的样本权重。即以前方法仅关注分类损失（ ${\rm OHEM}$ 和 ${\rm Focal}$ - ${\rm Loss}$ ）或回归损失（ ${\rm KL}$ - ${\rm Loss}$ ）。但论文提出的 ${\rm SWN}$ 同时关注分类和回归损失。与 ${\rm OHEM}$ 和 ${\rm Focal}$ - ${\rm Loss}$ 不同的是， ${\rm SWN}$ 同样也关注那些易分的样本。

3.3 Joint Learning for Sample Weighting

目标检测可以分为分类和回归两个任务。给定样本 $i^{\rm th}$ ，首先将回归任务建模为一个高斯概率密度函数。预测的位置偏移作为均值： $p(gt_i|a_i^*)=\mathcal{N}(a_i^*,\sigma_i^{reg^2})=\frac{1}{\sigma_i^{reg}·\sqrt{2\pi}}{\rm exp}({-\frac{1}{2}·\frac{(gt_i-a_i^*)^2}{\sigma_i^{reg^2}}})\tag{3}$

上式两端取对数后为： $\log p(gt_i|a_i^*)\propto-\frac{1}{\sigma_i^{reg^2}}||gt_i-a_i^*||_2^2-\log \sigma_i^{reg}\tag{4}$

现定义 $L_i^{reg}=||gt_i-a_i^*||_2^2$ ，将上式右端的符号去掉： $L_i^{reg*}=\frac{1}{\sigma_i^{reg^2}}L_i^{reg}+\lambda_2\log \sigma_i^{reg}\tag{5}$

再者，如果将上式中的 $1/\sigma_i^{reg^2}$ 写为 $s_i^{reg}$ ，则上式可以看作是带有正则项的加权回归损失。随着方差的增大， $L_i^{reg}$ 的权重在减小。直观上，该加权策略更加关注置信度高的样本，并基于其更多的惩罚。对于分类损失，使用 ${\rm Softmax}$ 函数： $p(y_i|a_i^*)=softmax(y_i,\frac{1}{t_i}p(a_i^*))\tag{6}$

其中， $t_i$ 用于控制分布的平整度， $p(a_i^*)$ 和 $y_i$ 对应于 $a_i^{*}$ 的未归一化的预测值和真实值。为了使其与回归任务的表现形式相同，令 $t_i=1/\sigma_i^{cls^2}$ 、 $L_i^{cls}=-\log softmax(y_i,p(a_i^*))$ 。则式 $(6)$ 可写作： $L_i^{cls*}=\frac{1}{\sigma_i^{cls^2}}L_i^{cls}+\lambda_1\log \sigma_i^{cls}\tag{7}$

综合式 $(5)$ 和 $(7)$ ，目标检测的总损失可写作： $\begin{aligned} L_i&=L_i^{cls*}+L_i^{reg*}\\&=\frac{1}{\sigma_i^{cls^2}}L_i^{cls}+\frac{1}{\sigma_i^{reg^2}}L_i^{reg}+\lambda_1\log \sigma_i^{cls}+\lambda_2\log \sigma_i^{reg} \end{aligned}\tag{8}$

这里，由于 $\sigma_i^{·2}$ 恒非负且位于分母位置，可能出现除零的错误。论文提出的解决办法是首先对整体项取对数，并且表示为： $m_i^·:=log(\sigma_i^·)$ ，然后在式中表示为指数形式。即上式可变为： $L_i=exp(-2*m_i^{cls})L_i^{cls}+\lambda_1m_i^{cls}+exp(-2*m_i^{reg})L_i^{reg}+\lambda_1m_i^{reg}\tag{9}$

通常存在两种加权采样的策略。一方面关注难例样本：由于这类样本的损失值更大，相应的梯度也更大，这能够加速模型的训练过程。另一方面关注易分样本：这些人认为从评价指标的重要性且类别失衡不那么严重时，易分样本的效果更好。但是，通常我们并不能对样本的难易程度一概而论，而应该采取论文所用的灵活的采样方式。

对式 $(5)$ 关于标准差 $\sigma_i^{reg}$ 求导（ $\lambda_2=1$ ），得到： $0=-\frac{1}{\sigma_i^{reg^3}}L_i^{reg}+\frac{1}{\sigma_i^{reg}}$

即极值 $\sigma_i^{reg,*^2}=L_i^{reg}$ 。将该值带回式 $(5)$ 中，得到： $L_i^{reg*}=\frac{1}{L_i^{reg}}·L_i^{reg}+\lambda_2\log \sqrt{L_i^{reg}}$

忽略掉常数项后，得到： $L_i^{reg*}=\log L_i^{reg}$

注意到上式右端是一个凹的非递减函数，当 $L_i^{reg}=||gt_i-a_i^*||_2^2\rightarrow0$ 时，仅对它施加较小的惩罚。这使得算法整体对于离群点和噪声具有很好的鲁棒性，同时避免过度关注难例样本。同时，式 $(5)$ 的回归函数更倾向于选择具有较大交并比的样本，因为这会加快训练过程，且使损失朝着负无穷大方向变化。反过来，这又激励了在学习过程中增加这些样本的权重，而具有相对较小交并比的样本在训练过程中将保持适度的梯度。

3.4 Unified Sample Weighting Network Design

在这里插入图片描述

图4：SWN

上图是论文提出的 ${\rm SWN}$ 的网络结构，图 ${\rm (a)}$ 是一个两阶段检测算法的检测过程；图 ${\rm (b)}$ 是建议框和真实框匹配时所产生的损失的计算方法，即上文提到的式 ${\rm (9)}$ ；图 ${\rm (c)}$ 是 ${\rm SWN}$ 的关键模块，它以分类损失、回归损失、置信度和交并比作为输入，计算当前样本的权重。其中 ${\rm F、G、H、K}$ 代表四个转化函数， ${\rm (c)}$ 中的模块本质是一个多层感知机。

我们再来看一下上图中 ${\rm (c)}$ 的详细信息：其输入是分类损失 $L_i^{cls}$ 、回归损失 $L_i^{reg}$ 、交并比 $IoU_i$ 和置信度 $Prob_i$ ，如果为负样本，则交并比和置信度设置为零。 ${\rm F、G、H、K}$ 四个转化函数将输入转化为更具表征意义的特征向量，并且通过一个多层感知机学习。可表示如下： $d_i=concat(F(L_i^{cls});G(L_i^{reg});H(IoU_i);K(Prob_i))\tag{10}$

前面提到的 $m_i^{cls}$ 和 $m_i^{reg}$ 分别表示分类和回归损失的样本权重，这二者可通过如下方式学习得到： $m_i^{cls}=W_{cls}(d_i)\ \ {\rm and} \ \ m_i^{reg}=W_{reg}(d_i)\tag{11}$

其中 $W_*$ 分别表示一个多层感知机。同时由图 $4$ 可以看到， ${\rm SWN}$ 不依赖于目标检测的网络结构，它能够置入基于区域的检测器中。如在 ${\rm Faster}$ - ${\rm RCNN}$ 由 ${\rm RPN}$ 和 ${\rm Fast}$ - ${\rm RCNN}$ 组成，不改变 ${\rm RPN}$ 部分而将 ${\rm SWN}$ 植入 ${\rm Fast}$ - ${\rm RCNN}$ 中就可以实现对 ${\rm Faster}$ - ${\rm RCNN}$ 改进。对于训练过程中的每一个样本，首先计算其分类损失 $L_i^{cls}$ 、回归损失 $L_i^{reg}$ 、交并比 $IoU_i$ 和置信度 $Prob_i$ ，将计算结果送入 ${\rm SWN}$ 中；然后通过 ${\rm SWN}$ 预测样本权重 ${\rm exp}(-2*m_i^{cls})$ 和 ${\rm exp}(-2*m_i^{reg})$ 后带入式 $(9)$ 中计算总损失，最后反向传播回传梯度。对于 ${\rm RetinaNet}$ ，其情况与 ${\rm Faster}$ - ${\rm RCNN}$ 类似。 ${\rm Mask}$ - ${\rm RCNN}$ 相比 ${\rm Faster}$ - ${\rm RCNN}$ 多了一个掩膜分支，对其改进的做法是再加入一个包含 ${\rm SWN}$ 的分支。同时， ${\rm SWN}$ 的输入还多了一个掩膜分支的损失。

4. Experiments

在这里插入图片描述

图5：加入SWN后的实验对比

在这里插入图片描述

图6：SWN与其他模块的对比
在这里插入图片描述

图7：加权采样的对比实验

5. Conclusion

论文设计一种加权采样的通用目标检测损失函数，通过在基于区域的目标检测模型中加入 ${\rm SWN}$ 模块后就能对模型进行改进。 ${\rm SWN}$ 整体对分类和回归做了平衡，且通过多层感知机来学习权重。 ${\rm SWN}$ 是一种即插即用的模块，文中以 ${\rm Faster\ RCNN}$ 、 ${\rm Mask\ RCNN}$ 和 ${\rm RetinaNet}$ 为基础网络作对比，显示出了 ${\rm SWN}$ 的有效性。

参考文献

Cai Q, Pan Y, Wang Y, et al. Learning a Unified Sample Weighting Network for Object Detection[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2020: 14173-14182.

完