FPN+PAN结构,SPP结构

FPN通过高层特征传递语义信息以增强多尺度检测,而PAN则反向传递底层定位信息,提高小目标识别准确性。SPP网络解决了CNN对固定输入尺寸的需求和R-CNN的重复计算问题,通过ROIAlign提高检测和分割精度。这些技术在fastR-CNN、fasterR-CNN和maskR-CNN等模型中得到应用。
Yolo-v8.3

Yolo-v8.3

Yolo

YOLO(You Only Look Once)是一种流行的物体检测和图像分割模型,由华盛顿大学的Joseph Redmon 和Ali Farhadi 开发。 YOLO 于2015 年推出,因其高速和高精度而广受欢迎

一、FPN+PAN

在这里插入图片描述
FPN 高维度向低维度传递语义信息(大目标更明确)
PAN 低维度向高维度再传递一次语义信息(小目标也更明确)
请添加图片描述
请添加图片描述
请添加图片描述

二、SPP

深层的feature map携带有更强的语义特征,较弱的定位信息。而浅层的feature map携带有较强的位置信息,和较弱的语义特征。FPN就是把深层的语义特征传到浅层,从而增强多个尺度上的语义表达。而PAN则相反把浅层的定位信息传导到深层,增强多个尺度上的定位能力。

在何恺明2015年《Spatial Pyramid Pooling in Deep ConvolutionalNetworks for Visual Recognition》被提出,改论文主要改进两点:

解决CNN需要固定输入图像的尺寸,导致不必要的精度损失的问题;

因为带有全连接层的网络结构都需要固定输入图像的尺度,当然后期也有直接用conv层代替FC层的,比如SSD网络直接用conv层来计算边界框坐标和置信度的。

解决R-CNN对候选区域进行重复卷积计算,导致计算冗余的问题;

因为R-CNN网络中基于segment seletive输出的2000个候选框都要重新计算feature map较为耗时,因此提出了候选区域到全图的特征(feature map)之间的对应映射,这样图像只需计算一次前向传播即可。
在之后的 fast R-CNN 和 faster R-CNN 都采用这种映射关系,为ROI pooling层。
但在mask R-CNN中,用ROI Align替代了ROI pooling层,其认为两次量化的候选框与最开始的回归候选框有一定偏差,影响检测和分割准确度,ROI Align中不进行float量化,通过双线性内插计算四个坐标点,然后进行max pooling。

您可能感兴趣的与本文相关的镜像

Yolo-v8.3

Yolo-v8.3

Yolo

YOLO(You Only Look Once)是一种流行的物体检测和图像分割模型,由华盛顿大学的Joseph Redmon 和Ali Farhadi 开发。 YOLO 于2015 年推出,因其高速和高精度而广受欢迎

### FPNPAN网络架构差异 #### 架构设计 FPN(Feature Pyramid Network)引入了一条自顶向下的路径来增强特征图的语义信息[^2]。这种设计使得高层次、富含语义的信息能够被传播到低层次特征中,从而改善了检测性能。 相比之下,PAN(Path Aggregation Network)不仅包含了FPN中的自顶向下路径,还额外加入了一条自底向上的路径用于加强位置敏感度的信息传递[^4]。这样的双重路径机制让PAN可以更有效地捕捉不同尺度的目标对象,并且在细粒度识别方面表现更好。 #### 特征融合策略 在特征融合过程中,FPN采用的是简单的逐元素相加方式将高分辨率和低分辨率特征相结合[^1]。然而,在实践中发现这种方法可能无法充分考虑到各个层级间的重要性差异。 为了改进这一点,PAN借鉴注意力机制的思想给不同的跨层连接分配可学习权重,这有助于更加灵活地调整各部分贡献比例并优化最终输出质量。 ### 应用场景比较 当面对单一类别或者较大尺寸物体为主的任务时,如自然风景摄影中的建筑物分割,FPN已经足够胜任因为其擅长于提供强大的全局上下文理解力[^3]。 而对于涉及多种大小目标混合存在的情况,则推荐使用PAN。例如城市街景监控视频分析里既有远处的小汽车又有近处的大卡车,此时PAN凭借出色的多尺度适应性和精准定位能力会带来更好的结果。 ```python def compare_fpn_pannet(): """ A simple function to illustrate the difference between FPN and PAN. Returns: dict: Comparison of features, architecture differences, and applications. """ comparison = { 'Architecture': {'FPN': 'Top-down path only', 'PAN': 'Both top-down & bottom-up paths'}, 'Feature Fusion Strategy': {'FPN': 'Element-wise addition', 'PAN': 'Weighted fusion with attention-like mechanism'}, 'Application Scenarios': {'FPN': 'Single category or large objects detection', 'PAN': 'Multiple sizes object coexistence'} } return comparison ```
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值