【论文阅读】LSKNet: Large Selective Kernel Network for Remote Sensing Object Detection

这是南开大学在ICCV2023会议上新提出的旋转目标检测算法，基本原理就是通过一系列Depth-wise 卷积核和空间选择机制来动态调整目标的感受野，从而允许模型适应不同背景的目标检测。

论文地址：https://arxiv.org/pdf/2303.09030.pdf

代码地址（可以直接使用mmrotate框架实现）：GitHub - zcablii/LSKNet: (ICCV 2023) Large Selective Kernel Network for Remote Sensing Object Dyetection

 一、引言

目前基于旋转框的遥感影像目标检测算法已经取得了一定的进展，但是很少考虑存在于遥感影像中的先验知识。遥感影像中的目标往往尺寸很小，仅仅基于其表观特征很难识别，如果结合其背景信息，如周边环境，就可以提供形状、方向等有意义的信息。据此，作者分析了两条重要的先验知识：

•  精确识别遥感影像中的目标往往需要大范围的背景信息，有限的背景区域会影响模型的识别效果，例如当背景信息很少时，容易将十字路口识别为道路。
• 不同类型的目标所需要的背景信息范围是不同的，如足球场可通明显的球场边界线进行区分，所需的背景信息不多，但是十字路口与道路相似，容易受到树木和其他遮挡物的影响，因此需要足够的背景范围信息才能进行识别。

大范围背景下更容易精确识别地物类型

识别不同目标所需的背景信息差别较大

为了解决上述问题，作者提出了一种新的遥感影像目标识别方法，即Large Selective Kernel Network (LSKNet)。该方法通过在特征提取模块动态调整感受野，更有效地处理了不同目标所需的背景信息差异。其中，动态感受野由一个空间选择机制实现，该机制对一大串Depth-wise 卷积核所处理的特征进行有效加权和空间融合。这些卷积核的权重根据输入动态确定，同时允许模型针对空间上的不同目标自适应地选择不同大小的核并调整感受野。

经验证，LSKNet网络虽然结构简单，但能够获得优异的检测性能，在HRSC2016、DOTA-v1.0、FAIR1M-v1.0三个典型数据集上都取得了SOTA。

二、算法原理

1. LSKNet的架构

结构层级依次为：

LSK module（大核卷积序列+空间选择机制） < LSK Block （LK Selection + FFN）<LSKNet（N个LSK Block）

LSK 模块

LSK Block

LSKNet 是主干网络中的一个可重复堆叠的块（Block），每个LSK Block包括两个残差子块，即大核选择子块（Large Kernel Selection，LK Selection）和前馈网络子块（Feed-forward Network ，FFN），如图8。LK Selection子块根据需要动态地调整网络的感受野，FFN子块用于通道混合和特征细化，由一个全连接层、一个深度卷积、一个 GELU 激活和第二个全连接层组成。

LSK module（LSK 模块，图4）由一个大核卷积序列（large kernel convolutions）和一个空间核选择机制（spatial kernel selection mechanism）组成，被嵌入到了LSK Block 的 LK Selection子块中（图8橙色块）。

2. Large Kernel Convolutions

因为不同类型的目标对背景信息的需求不同，这就需要模型能够自适应选择不同大小的背景范围。因此，作者通过解耦出一系列具有大卷积核、且不断扩张的Depth-wise 卷积，构建了一个更大感受野的网络。

具体地，假设序列中第i个Depth-wise 卷积核的大小为 ，扩张率为 ，感受野为 ，它们满足以下关系：

卷积核大小和扩张率的增加保证了感受野能够快速增大。此外，我们设置了扩张率的上限，以保证扩张卷积不会引入特征图之间的差距。

---

Table2的卷积核大小可根据公式（1）和（2）计算，详见下图：

---

这样设计的好处有两点。首先，能够产生具有多种不同大小感受野的特征，便于后续的核选择；第二，序列解耦比简单的使用一个大型卷积核效果更好。如上图表2所示，解耦操作相对于标准的大型卷积核，有效地将低了模型的参数量。

为了从输入数据 的不同区域获取丰富的背景信息特征，可采用一系列解耦的、不用感受野的Depth-wise 卷积核：