FPN算法详解

算法背景

论文全称：FeaturePyramidNetworksforObjectDetection
论文链接：https://arxiv.org/abs/1612.03144
论文时间：2017.5.19

简介

特征金字塔是目标检测中在不同尺寸下的识别系统的基础元素，但是目前的深度学习目标检测器避免金字塔表示，计算与储存密集，在文利用固有的多尺寸、金字塔层次的深层卷积网络构造带有边际额外成本的特征金字塔。开发了一种具有横向连接的自顶向下架构，用于在所有尺度上构建高级语义特征图。这种结构被称为特征金字塔网络（FPN）。在多个应用中，这个神经网络作为一个通用特征提取器有显著精度改进。在基础Faster RCNN算法中使用FPN算法，在COCO检测挑战中有了最新的结果，超过了之前的算法，在COCO2016挑战中赢得冠军，在一个GPU上运行速度为6FPS。

低层的特征语义信息比较少，但是目标位置准确；高层的特征语义信息比较丰富，但是目标位置比较粗略。另外虽然也有些算法采用多尺度特征融合的方式，但是一般是采用融合后的特征做预测，而本文不一样的地方在于预测是在不同特征层独立进行的。

特征提取算法对比

特征图片金字塔

如图a，在不同尺度下识别目标物体（Recognization）是计算机视觉中的一个基础挑战，基于图像金字塔构建的特征金字塔（简称我们称这些为特征图像金字塔）构成标准解决方案的基础，这些金字塔具有尺寸不变性，一个物体尺寸的改变在金字塔中转移层级时被抵消，直观地，这种特性确保一个模型能通过观察模型的位置与金字塔层级在一个大范围的尺寸内检测物体。

单一特征映射

如图b，特征图片金字塔在手工提取特征时期得到了广泛的使用，在例如DPM中非常重要。但是卷积神经网络由于其具有更高层的语义信息并且更鲁棒而替代了手工提取特征。但是目前优秀的目标检测算法仍然使用特征图片金字塔进行多尺度测试，对图像金字塔的每个级别进行特征化的主要优点是它产生了多尺度特征表示，其中所有层级在语义上都很强，包括高分辨率级别。

但是在图片金字塔的每一级提取特征也有很大的限制，推测时间增大，对于真实应用，这个