基于GAN的小目标检测算法总结（2）——MTGAN

1.前言

  这里是基于GAN的小目标检测算法系列文章的第2篇，本文介绍2018年的ECCV论文《SOD-MTGAN:Small Object Detection via Multi-Task Generative Adversarial Network》，简称MTGAN。

2.MTGAN

2.1 算法简介

2.1.1 核心idea

  小目标检测困难，因为缺少足够的细节外观信息，导致难以从背景或其他类别中区分开来，MTGAN的核心idea，就是对小目标proposals进行image-level超分，获得更多特征。主要内容如下：
（1）MTGAN的生成器，是超分辨率网络，上采样小的模糊图像到大尺度图像，恢复细节信息；
（2）判别器是个多任务网络，用来判别超分图像片是真的还是假的，并且预测目标类别和边界框回归（检测算法的head）；
（3）为了使得生成器恢复更好的细节、便于检测，判别器的分类和回归任务的损失，反向传播到生成器。

2.1.2网络组成

2.1.2.1 base detectors

  本文使用的是ResNet50-C4 Faster RCNN和ResNet101的FPN。使用base detectors生成正负样本，然后将这些正负样本对应的图像片裁剪出来，训练生成器和判别器。低分辨率图像通过对高分辨率图像采用双三次插值进行下采样4倍获得。

2.1.2.2 生成器