ECCV2020-DNL-解耦Non-Local模块增益1.5-3个点 | Disentangled Non-Local Neural Networks

在Non-Local的基础上还能提高这么多，问题分析的也很透彻，就是文章有点难读，有解读错误的地方，请不要见怪！
论文地址：https://arxiv.org/pdf/2006.06668.pdf
Github：https://github.com/Howal/DNL-Object-Detection

Abstract：

Non-Local块是用于增强常规卷积神经网络的上下文建模能力一种流行的模块。本文首先深入研究了Non-Local块，我们发现它的注意力计算可以分为两项，一个经过白化的成对项解释了两个像素之间的关系，一个一元项代表了每个像素的显著性。我们还观察到，单独训练的两项往往会为不同的视觉线索建模，例如白化的成对项学习区域内的关系，而一元项学习显著边界。然而，这两项在Non-Local块中紧密耦合，这妨碍了每项的学习。基于这些发现，我们提出了解耦的Non-Local块，其中两项解耦以促进所有项的学习。我们证明了分离设计在各种任务上的有效性，例如Cityscapes，ADE20K和PASCAL Context上的语义分割，COCO上的目标检测以及Kinetics上的动作识别。

Introduction：

论文发现Non-Local模块基于点积的注意力可以拆分为白化的成对项与一元项。通过单独的训练方式，作者发现白化的成对项通常学习区域内关系，一元项则倾向于对显著性边界建模。但是，当这两项都出现在Non-Local块中时，就不会学到这种清晰的视觉线索，如下图的第一行所示。这表明将这两项结合在一起可能对学习这些视觉线索有害，因此影响了对辨别性特征的学习。

为了解决这个问题，本文提出了解耦的Non-Local（