FPN及其feature map特征融合（CVPR2016：Feature Pyramid Networks for Object Detection）

最新推荐文章于 2025-02-19 09:30:00 发布
原创 最新推荐文章于 2025-02-19 09:30:00 发布 · 置顶 · 2.7k 阅读 · 14 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#deep learning

FPN通过自底向上和自顶向下线路构建特征金字塔，结合横向连接进行特征融合，用于解决多尺度目标检测问题。在VGG和ResNet等网络结构中，不同stage的last layer输出形成特征金字塔，上采样与底层特征融合，减少上采样混叠效应。代码实现中，高层特征与低层特征数值叠加进行融合。
1 feature map的计算

以feature map的大小区分conv1 conv2 … 在conv1或conv2中feature map的大小是不变的，从conv1到conv2的某种操作feature map大小才会改变。
以VGG16为例，padding=0的池化操作改变feature map大小。
实际上在卷积或池化后：
feature map size = output size
n filters = n channels = n feature map（n=64,128,256,512,1024…）
在这里插入图片描述
一个input image：WxH=224x224的RGB,c=3或k=3的三通道图像，经过Conv1_1feature map的大小为224x224,通道的改变即为卷积核的个数变化。

c：图像通道数 w：图像宽度 h：图像高度 在这里插入图片描述

公式：W=H=(n+2p-f)/s+1
在这里插入图片描述

2 feature map特征融合

一个自底向上的线路，一个自顶向下的线路，横向连接（lateral connection）

最低0.47元/天 解锁文章
AI大视觉（六) | 特征金字塔（FPN）如何进行特征融合？
aibigtruth的博客
06-11 6453
本文来自公众号”AI大道理“ 在深度学习的很多工作中（例如目标检测、图像分割），融合不同尺度的特征是提高性能的一个重要手段。 低层特征分辨率更高，包含更多位置、细节信息，但是由于经过的卷积更少，其语义性更低，噪声更多。 高层特征具有更强的语义信息，但是分辨率很低，对细节的感知能力较差。 如何将两者高效融合，取其长处，弃之糟泊，是改善分割模型的关键。 图像金字塔（Featurized image pyramid） 传统方法，通过对图像进行降采样处理，提取每层图像的特征，然后在每层...
特征融合（一）：FPN-特征金字塔网络
小嘤熊的博客
11-06 1280
高语义特征经过上采样后，其长宽与对应的浅层特征相同，而通道数固定为256，因此需要对浅层特征C2至C4进行1×1卷积使其通道数变为256，然后两者进行逐元素相加得到P4、P3与P2。C1代表了ResNet的前几个卷积与池化层，而C2至C5分别为不同的ResNet卷积组，这些卷积组包含了多个Bottleneck结构，组内的特征图大小相同，组间大小递减。：在得到相加后的特征后，利用3×3卷积对生成的P2至P4再进行融合，目的是消除上采样过程带来的重叠效应，以生成最终的特征图。
一文看尽物体检测中的各种FPN
Bruce_0712的博客
09-30 2158
早期的物体检测算法，无论是一步式的，还是两步式的，通常都是在Backbone的最后一个stage（特征图分辨率相同的所有卷积层归类为一个stage）最后一层的特征图，直接外接检测头做物体检测。此种物体检测算法，可以称之为单stage物体检测算法。 由于单stage物体检测算法中，Backbone的最后一个stage的stride通常是32，导致输出的特征图分辨率是输入图片分辨率的1/32，太小，不利于物体检测，因此单stage的物体检测算法，一般会将最后一个stage的MaxPooling去掉或者将str
关于FPN（特征金字塔网络）层间融合的理解
weixin_39908946的博客
06-09 4012
主要是FPN层间融合的个人理解 Feature Pyramid Networks for Object Detection 论文链接: https://arxiv.org/abs/1612.03144. 盗图如下链接: https://blog.youkuaiyun.com/WZZ18191171661/article/details/79494534. 1.图像特征金字塔简述 最早的图像特征金字塔 来源于 SIFT(尺度不变，特征变换) 然后 HOG(方向梯度直方图)，模仿人看东西远近不同的大小尺度，同时不同尺度，特
FPN-多尺度特征聚合
qq_36412570的博客
09-01 2239
FPN 动机 FPN网络提出就是为了缓解目标检测任务中scale多样性时，各个scale的物体该怎样更好的检出的问题。 方法概要 看上图中的（ｄ）就可以看出FPN的基本运行原理了，前向过程通过下采样降低分辨率，然后再进行上采样，过程中融合来自上游高分辨率的feature，得到增强后的featuremap，这样一个优点在于低分辨率的featuremap更多的语义信息可以被呈递到高分辨率，比较浅层的featuremap中，让size较大的featuremap回归预测小目标物体时有更多的feature可以使用
FPN：Feature Pyramid Networks for Object Detection
低吟浅笑
03-08 406
Feature Pyramid Networks for Object Detection 引用量：6309 CVPR2017 Facebook AI 网上很多关于这个文章的介绍，我这基本直接根据文章本身来的，并省略了应用和实验部分，后面有一些附图可以帮助理解。 view：当真是开山之祖的感觉，很厉害，不需要多说。可以在各个算法中方便使用， 作为检测网络的Neck层。后续也提出很多变体，可以看EfficientDet。 贡献：提出了特征金字塔网络，在检测/分割的多尺...
论文笔记：Feature Pyramid Networks for Object Detection(FPN)
upup
08-18 1725
一、基本信息 标题：Feature Pyramid Networks for Object Detection 时间：2017 引用格式：Lin, Tsung-Yi, et al. “Feature pyramid networks for object detection.” Proceedings of the IEEE conference on computer vision and pattern recognition. 2017. 二、研究背景 为了检测小物体，最常用的做法是构建金字塔，比如S
目标检测经典知识点汇总（二）：FPN:Feature Pyramid Networks for Object Detection
等待戈多的博客
05-28 446
Feature Pyramid Networks for Object Detection前言一、Pyramid 图像金字塔及特征金字塔二、Bottom-up pathway、Top-Down pathway and Lateral Connection解释三、FPN+RPN应用总结 前言 也是比较老的一篇论文，网上已经有很多讨论，且论文讲的很详细，方法也很简单。不再过多赘述，建议参考原论文和一些其它blog。 推荐阅读： 详解FPN网络 深度学习网络 | FPN和fast rcnn及RPN网络是如何结合的
Feature Pyramid Networks for Object Detection （FPN-2017CVPR）主要内容翻译与理解
yepeng_xinxian的博客
09-02 3584
摘要   在检测不同尺度物体的识别系统中，特征金字塔是一个基本的组成成分。但是最近的深度学习物体检测器有着无效的金字塔表达，在某种程度上因为他们计算和内存紧张。在这篇文章中，我们利用深度卷积网络的金字塔形的层--内在的多尺度去几乎没有额外损失地构造特征金字塔。我们提出一个带有横向连接的自顶向下结构去建立所有尺度的高水平语义特征图。这个结构，称为FPN，作为一个通用的特征提取器在几个应用中有着显著...
(CVPR-2023)通过有效的时空特征融合进行多模态步态识别
顾道长生的科研笔记
06-05 9290
步态识别是一种生物识别技术，通过步行模式识别人。基于剪影的方法和基于骨架的方法是两种最流行的方法。但是剪影数据容易受到衣服遮挡的影响，骨架数据缺乏体型信息。为了获得更稳健、更全面的步态识别表示，我们提出了一种基于 transformer 的步态识别框架，称为 MMGaitFormer，它有效地融合和聚合了来自骨架和轮廓的时空信息。具体来说，空间融合模块（SFM）和时间融合模块（TFM）分别被提出用于有效的空间级和时间级特征融合。
算法笔记(六)多尺度特征融合之FPN/PANet
热门推荐
sleepinghm的博客
09-22 1万+
前言 最近论文快deadline了，一直没空更新…今天复习一下多尺度特征融合的常用模型。 FPN 特征金字塔 论文：feature pyramid networks for object detection 论文链接：https://arxiv.org/abs/1612.03144 思路： 底层的特征语义信息比较少，但是目标位置准确。 高层的特征语义信息比较丰富，但是目标位置比较粗略。 ...
CVPR2021|通过多尺度特征融合提升深度估计模型精度
3D视觉工坊
08-02 4509
作者丨Andy@知乎来源丨https://zhuanlan.zhihu.com/p/377146332编辑丨3D视觉工坊Boosting Monocular Depth Estimatio...
Excel 特征融合 公式
Life Coding
12-25 1090
David给我的Excel表中，计算Upper和Lower和whole的加权公式。 第一步： 计算概率矩阵       =D2*M2 第二部： 计算 L*U    =MAX(AT2:AY2) 第三部： 计算Col =MATCH(AQ2,AT2:AY2,0) 第四部： 计算Predicted =INDEX(AT$1:AY$1,AR2) 第五步： 计算Result =
【目标检测】FPN特征金字塔完整流程详解
CV在读
04-23 6402
特征金字塔介绍
CVPR2020 | 显著性目标检测，多尺度信息相互融合
AI算法修炼营的博客
07-20 1万+
点击上方“AI算法修炼营”，选择“星标”公众号精选作品，第一时间送达本文是收录于CVPR2020的有关显著性目标检测的文章，主要的创新点在特征聚合操作，可以迁移到其他需要融合深层和浅层特...
对于FPN特征金字塔的学习
weixin_45377668的博客
09-24 577
对于特征金字塔FPN的学习与介绍
CVPR 2024 | CPP-Net: 将多尺度特征融合引入深度展开CP-PPA网络用于压缩感知
最新发布
小白学视觉
02-19 227
在压缩感知（CS）领域，深度展开网络（DUNs）因其良好的性能和基于CS领域的可解释性而受到关注，这些优势是通过将传统优化求解器与深度网络结合实现的。然而，现有的DUNs在捕捉图像细节方面表现不佳，导致重建图像在低CS比率（如0.10及以下）时出现明显的失真和模糊。本文中，作者提出了CPP-Net，一种受Chambolle和Pock近端点算法（CP-PPA）原始-对偶混合策略启发的新型深度展开CS框架。首先，作者通过引入定制的深度学习模块，推导出三个迭代子模块XkXkVkVk和YkY。
FPN中不同层的相加or拼接方式
ysh1026的博客
02-10 870
ssg
影像融合方法
学习笔记
07-17 5450
影像融合方法
feature pyramid networks for object detection
06-28
特征金字塔网络（Feature Pyramid Networks, FPN）是一种用于目标检测的神经网络架构。它通过在深层特征图上构建金字塔结构来提高空间分辨率，从而更好地检测小目标。FPN具有高效的多尺度特征表示和鲁棒性，在COCO...
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值