FPN 模块的结构很简单,主要思想是高层特征反哺低层特征,达到语义与分辨率的平衡。
当用于目标检测时,一个问题是如何与 RPN 和 detection head 结合。在原始的 fast-rcnn RPN 中(参考的是霹雳吧啦的视频)是在每个 FPN 后都加上 RPN+detection head,并且它们共享参数。
另一个问题是 RPN 生成的 proposal 最后在哪个特征图上计算,作者提供了一个公式来 navigate。比如 proposal 是 112\*112,那么会计算得到 3,也就是说在 p3 上计算。(什么是 p3 参考下面第二张图)

FPN模块通过高层特征反哺低层,平衡语义与分辨率。在目标检测中,它与RPN和detection head结合,通常共享参数。RPN生成的proposal在特定层级的特征图上计算,如112*112的proposal在p3上。对于ViT在语义分割中的应用,beit实现将特征放大后再通过FPN结构,以适应FPN的金字塔结构。
最低0.47元/天 解锁文章
3554

被折叠的 条评论
为什么被折叠?



