BiFPN---加权双向特征金字塔网络（附代码）

前言

目前大多数的检测网络都喜欢用卷积神经网络逐层抽象，提取多个层次的特征。高层次网络感受野大，语义信息表征能力强，但特征图分辨率比较低，空间几何特征缺乏；低层次网络虽然感受野小，语义信息表达能力也较弱，但特征图分辨率大，空间几何细节充分。所以对各层次特征进行融合，对最后的检测网络比较有利。

要解决的问题

自FPN诞生以来，FPN已被广泛用于多尺度特征融合。近年来，PANet、NAS-FPN等研究发展了更多跨尺度特征融合的网络结构。以往的工作在融合不同输入特征的同时，大多是简单的总结，没有区别;然而，由于这些不同的输入特征具有不同的分辨率，本文观察到它们对融合输出特征的贡献通常是不均匀的。为了解决这一问题，提出了一种简单而高效的加权双向特征金字塔网络(BiFPN)，该网络引入可学习的权值来学习不同输入特征的重要性，同时反复应用自顶向下和自底向上的多尺度特征融合。
具体来说：

FPN：由于升降维度导致的信息损失问题，这在很多多尺度特征融合方法都存在，AugFPN通过引入一致性监督的方法，在特征金字塔的每一层引入一致性损失，使得不同尺度的特征能够保持一致性，从而提高了模型性能。同时FPN只有自顶向下的过程，就很难把低层信息传递到最后一层。

PANet：相比于FPN，PANet多了一个自底向上的传递，让图像的低层信息也能得到冲分的利用，但是BiFPN认为PANet中的单节点能够获取的信息并不多，却增加了模型的参数，是一个弊大于利的操作

NAS-FPN：NAS-FPN在FPN的设计上进行了优化，通过引入更多的新层来增强模型的性能。但是融合输出特征的贡献通常是不均匀的。BiFPN引入可学习的权值来学习不同输入特征的重要性。

BiFPN

作者是对PANet提出了三种优化思路：

1.若一个结点只有一个输入，且不存在特征融合，那么它对整体的特征网络贡献比较小，可以将其切除，所以由PANet得到如下简化结构：

2.如果原始输入与输出节点处于同一级别，则在原始输入和输出节点之间添加一条额外的边，以便在不增加成本的情况下融合更多功能。

3. 可以将每一个双向路径（top-down + down-top）视为一个特征网络层，并且重复多次，以启用更高级别的特征融合。

 关于加权

在特征融合过程中，因为分辨率不同，所以需要Resize，但是因为不同的特征输入分辨率不同，对最终特征网络的输出贡献也应该会有所差异，所以需要让网络去学习这个weights，作者提出三种方案：

1. 一般的加权特征融合