FPN结构详解

最新推荐文章于 2024-09-15 21:07:25 发布
原创 最新推荐文章于 2024-09-15 21:07:25 发布 · 7k 阅读 · 57 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#python #深度学习 #神经网络

部署运行你感兴趣的模型镜像

Feature Pyramid Networks

FPN主要解决的是物体检测中的多尺度问题，通过简单的网络连接改变，在基本不增加原有模型计算量的情况下，大幅度提升了小物体检测的性能。
在这里插入图片描述
(a)为特征图像金字塔结构，要检测不同尺度目标时会将图片进行缩放，针对每个尺度的图片都依次通过进行预测。(速度慢)

(b)为单一特征图结构，将图片通过backbone得到最终特征图，在最终特征图上进行预测。(对小目标不友好)

©为金字塔特征层次结构，将图片输入backbone，在backbone正向传播过程中得到的不同的特征图上分别进行预测。(小目标容易被错分)

(d)为特征图金字塔网络，将不同特征图上的特征进行融合，在融合之后的特征图上再进行预测。FPN是一个利用深度卷积神经网络中固有的多尺度特征图，通过加入侧向连接和上采样，来以极小的附加计算量构建不同尺度的具有高级语义信息的特征金字塔的网络结构。

对于目标检测模型而言，FPN结构并不是模型中独立的一个模块，而是作为原始Backbone的附加项，融合在卷积神经网络之中。

特征图融合

在FPN中采用的不同的特征图需要选取都是2倍关系，例如最底层的特征图大小为28x28，则其上一层的特征图大小为14x14，最上层的为7x7。
在这里插入图片描述
每一个特征图都会对其采用1x1的卷积层进行处理，调整backbone上不同特征图的channel，为了融合保证channel相同。

对高层次的特征图进行2倍上采样，如对最上层7x7大小的特征图进行2倍上采样，得到14x14的特征图，从而保证与中间层特征图的尺寸大小相同。

上两步处理后，最高层与中间层的特征图的shape完全相同，就可以进行add操作。

然后将融合得到的特征图再进行2倍上采样，与经过1x1卷积后的最底层特征图进行add操作。

FPN结构

以ResNet50为backbone，输入为640x640x3的图像。
ResNet网络：ResNet网络详解并使用pytorch搭建模型
在这里插入图片描述
在图中右半部分，融合得到新的特征图之后又进行了3x3卷积，这里是为了对融合之后的特征图进行进一步的融合。

参考：FPN结构详解

您可能感兴趣的与本文相关的镜像

Yolo-v8.3

Yolo-v8.3

Yolo

YOLO（You Only Look Once）是一种流行的物体检测和图像分割模型，由华盛顿大学的Joseph Redmon 和Ali Farhadi 开发。 YOLO 于2015 年推出，因其高速和高精度而广受欢迎

18_特征金字塔网络FPN结构详解
https://github.com/foxpup11?tab=repositories
07-07 8350
https://www.bilibili.com/video/BV1dh411U7D9/?spm_id_from=333.999.0.0&vd_source=7dace3632125a1ef7fd32c285eb2fbac
深度学习中的FPN详解
tt丫的博客
01-22 6万+
深度学习入门小菜鸟，希望像做笔记记录自己学的东西，也希望能帮助到同样入门的人，更希望大佬们帮忙纠错啦~侵权立删。 一、 提示：这里可以添加本文要记录的大概内容： 例如：随着人工智能的不断发展，机器学习这门技术也越来越重要，很多人都开启了学习机器学习，本文就介绍了机器学习的基础内容。 提示：以下是本篇文章正文内容，下面案例可供参考 一、pandas是什么？ 示例：pandas 是基于NumPy 的一种工具，该工具是为了解决数据分析任务而创建的。 二、使用步骤 1.引入库 代码如下（示例
FPN(特征金字塔)-pytorch实践
thehappysheep的博客
11-02 4542
1.FPN FPN来源于论文《Feature Pyramid Networks for Object Detection》 1.1要解决的问题 传统的物体检测模型通常只在深度卷积网络的最后一个特征图上进行后续操作，而这一层对应的下采样率（图像缩小的倍数）通常又比较大，如16、32，造成小物体在特征图上的有效信息较少，小物体的检测性能会急剧下降，这个问题也被称为多尺度问题。如图1所示，这样会导致小目标漏检检测，因为在下采样过程中小目标的像素较少，在下采样过程中会丢失。 图1 单一高层次特征 .
FPN模型结构精讲
sunshineine的博客
09-27 1240
1.四种利用特征的形式 2.FPN针对的问题 3.FPN结构 4.自下而上的路径（Bottom-up pathway） 5.横向连接（lateral connections） 6.自下而上的路径（Top-down pathway） 7.总结
深度学习之目标检测（三）-- FPN结构详解
木卯_THU的博客
08-06 1万+
深度学习之目标检测（三）-- FPN结构详解深度学习之目标检测（三）FPN结构详解1. FPN —— 特征金字塔 深度学习之目标检测（三）FPN结构详解 本章学习 FPN 相关知识，学习视频源于 Bilibili。 1. FPN —— 特征金字塔 FPN 原始论文为发表于 2016 CVPR 的 Feature Pyramid Networks for Object Detection。针对目标检测任务，主要解决的问题是目标检测在处理多尺度变化问题时的不足，最终在COCOAp 提升 2.3 个点，pasc
YOLOX骨干网PA-FPN结构详解及Focus模块应用
首先，让我们回顾一下前置知识，FPN（Feature Pyramid Network）是一种多尺度特征提取技术，它通过在不同分辨率的特征图上添加额外的层来构建金字塔结构，便于检测不同大小的目标。而PAN（Path Aggregation Network...
FPN算法详解
woduitaodong2698的博客
12-21 3534
FPN算法详解算法背景简介特征提取算法对比特征图片金字塔单一特征映射金字塔特征分层特征金字塔总结算法详解自底向上的下采样自顶向下的上采样与横向连接算法应用RPNFast R-CNN算法结构 算法背景 论文全称：FeaturePyramidNetworksforObjectDetection 论文链接：https://arxiv.org/abs/1612.03144 论文时间：2017.5.19 简...
FPN PAN详解以及特征金字塔结构
04-01
#### 二、FPN（Feature Pyramid Network）详解 1. **核心思想** FPN通过**自上而下的路径**和**横向连接**，将深层语义信息与浅层细节信息融合。 - **自顶向下路径**：对高层特征进行上采样，生成与底层特征相同...
cspdarknet53、FPN网络结构详解
最新发布
09-05
### FPN（特征金字塔网络）结构详解 FPN是一种多尺度特征融合方法，通过**自顶向下路径**融合深层语义信息与浅层定位信息，解决目标检测中尺度变化问题[^2][^4]。 #### 1. **基础FPN结构** - **自底向上路径**：...
FPN网络结构+源码讲解
日拱一卒，功不唐捐
03-21 6188
本文从FPN的网络结构和源码两个方面对其进行了详细介绍
FPN网络详解
qq_52053775的博客
07-13 1万+
特征金字塔(Feature Pyramid Networks， FPN)的基本思想是通过构造一系列不同尺度的图像或特征图进行模型训练和测试，目的是提升检测算法对于不同尺寸检测目标的鲁棒性。但如果直接根据原始的定义进行FPN计算，会带来大额的计算开销。为了降低计算量，FPN采用一种多尺度特征融合的方法，能够在不大幅度增加计算量的前提下，显著提升特征表达的尺度鲁棒性。 在实际场景中，同一个目标物体，会因为拍摄距离不同，呈现出不同的尺度。识别不同尺度的目标，是计算机视觉中一个重要问题。一个常规的解
1.1.2 FPN结构详解
qq_45825952的博客
09-19 741
随着人工智能的不断发展，机器学习这门技术也越来越重要，很多人都开启了学习机器学习，本文就介绍了机器学习的基础内容。来源于哔哩哔哩博主“霹雳吧啦Wz”，博主学习作为笔记记录，欢迎大家一起讨论学习交流。
深入浅出之FPN （Feature Pyramid Networks for Object Detection）网络
浩瀚之水的专栏
09-15 2万+
FPN网络是在2017年的CVPR会议上提出的，主要目的是通过特征融合的方式，在不显著增加计算量的情况下，提升多尺度目标的检测性能，尤其是对小目标的检测能力。它通过构建多尺度特征金字塔，将高层特征图的语义信息与低层特征图的空间信息进行融合，生成具有丰富多尺度信息的特征表示。
FPN（特征金字塔）结构笔记
Clichong
06-07 2万+
文章目录1.特征金字塔结构2.FPN结构3.FPN+RPN结构4.性能指标 论文：feature pyramid networks for object detection，论文链接 摘要：本文利用深度卷积网络固有的多尺度金字塔层次构造特征金字塔，并增加边际额外成本。开发了一个具有横向连接的自顶向下体系结构，用于在所有尺度上构建高级语义特征映射。这种结构被称为特征金字塔网络(FPN)，在一些应用中显示出作为通用特征提取器的显著改进。在一个基本的Faster R-CNN系统中使用FPN，我们的方法在没有附加条
FPN（feature pyramid networks）算法讲解
热门推荐
AI之路
06-06 19万+
这篇论文是CVPR2017年的文章，采用特征金字塔做目标检测，有许多亮点，特来分享。 论文：feature pyramid networks for object detection 论文链接：https://arxiv.org/abs/1612.03144论文概述： 作者提出的多尺度的object detection算法：FPN（feature pyramid networks）。原来多数的
目标检测之FPN网络详解
小白学视觉
08-18 1万+
点击上方“小白学视觉”，选择加"星标"或“置顶”重磅干货，第一时间送达 特征图金字塔网络FPN（Feature Pyramid Networks）是2017年提出的一种网...
FPN网络结构及Pytorch实现
乐亦亦乐的博客
10-31 8920
FPN总体架构如图所示，主要包含自下而上网络、自上而下网络、横向连接与卷积融合4个部分。 自下而上：C2到C5代表不同的ResNet卷积组，这些卷积组包含了多个Bottleneck结构，组内的特征图大小相同，组间大小递减。 自下而上：首先对C5进行1x1卷积降低通道数得到P5，然后依次进行上采样得到P4、P3、P2.目的是得到与C4、C3与C2长宽相同的特征，方便下次进行逐元素相加。采用2倍最近邻上采样（直接对临近元素进行复制，而非线性插值）。 横向连接：（Lateral Connect...
FPN 结构
计算机视觉
01-27 281
1 输入训练集 imgae/mask 2 训练 data 3 得到模型 src 4 测试 eval 1 data ->训练集DUTS-TRAIN->image/mask-> xx.jpg/xx.png 2 eval 测试结果 3 res 模型 4 src -> dataset.py 读数据 net.py网络 test.py测试 train.py ...
PAN FPN结构
03-23
### PAN 和 FPN 结构概述 在深度学习领域，特别是目标检测任务中，特征金字塔网络（Feature Pyramid Network, FPN）和路径聚合网络（Path Aggregation Network, PAN）是非常重要的两种架构设计。这些结构旨在改进多尺度目标检测的效果。 #### 特征金字塔网络 (FPN) FPN 是一种经典的自上而下的架构，它通过融合不同层次的特征图来增强模型对多尺度目标的感知能力[^1]。具体来说，FPN 使用顶层特征图逐步生成低分辨率到高分辨率的特征表示，并将其与底层特征图进行逐元素相加或连接操作。这种机制能够有效缓解因下采样而导致的小物体丢失问题，从而提升小目标检测精度。 以下是实现 FPN 的核心步骤之一： ```python def upsample_add(x_high_res, x_low_res): """ 上采样并叠加高低层特征图。 参数: x_high_res: 高分辨率特征图 x_low_res: 低分辨率特征图 返回: 融合后的特征图 """ import torch.nn.functional as F x_upsampled = F.interpolate(x_low_res, size=x_high_res.shape[-2:], mode='nearest') return x_high_res + x_upsampled ``` #### 路径聚合网络 (PAN) 相较于 FPN 只有单一方向的信息流，PAN 提出了更复杂的双向信息传递方式——既包含自上而下的增强路径也引入了自底向上的补充路径[^3]。这样不仅可以继承来自高层语义丰富的全局上下文信息，还能充分利用浅层局部细节特征，进一步优化整体表现尤其是针对密集型场景的目标定位准确性方面具有显著优势。 值得注意的是，在某些特定应用场景比如人体姿态估计里提到过类似思路的应用实例：即结合现有检测框架同单独设立用于捕捉个体肢体关键点分布规律部分共同作用完成整个流程；不过这种方式存在局限性在于其最终效果很大程度取决于前者所提供候选框质量以及计算效率难以达到实时处理标准等问题尚未完全解决好之前版本当中可能遇到挑战情况较多一些。 综上所述，无论是作为独立组件还是嵌入更大规模系统内部组成部分来看待时都可以发现它们各自独特之处所在同时也面临着相应技术难点等待突破进展之中不断演进完善自我功能特性满足日益增长复杂需求环境变化趋势之下持续探索前行之路从未停歇脚步！
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值