深度学习之PAN详解

已于 2022-04-09 20:50:08 修改
阅读量2.6w 收藏 181
点赞数 43
分类专栏： 深度学习 文章标签： 深度学习 人工智能 机器学习 目标检测 计算机视觉
于 2022-01-22 15:43:12 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_55073640/article/details/122637249
版权

深度学习入门小菜鸟，希望像做笔记记录自己学的东西，也希望能帮助到同样入门的人，更希望大佬们帮忙纠错啦~侵权立删。

目录

一、提出原因

二、PAN结构分析

一、提出原因

说到PAN，总能联想到与之相似的FPN。有关FPN的介绍分析可以康康博主之前的文章（PAN推荐和FPN结合一起学习）

深度学习中的FPN详解_tt丫的博客-优快云博客

FPN是自上向下的一个特征金字塔，把高层的强语义特征传递下来，对整个金字塔进行增强，不过它只增强了语义信息，却对定位信息没有传递（或者说是因为向上传递路径太长，传递效果不好）。PAN就是针对这一点，在FPN的后面添加一个自下向上的金字塔，对FPN进行补充，将低层的定位特征传递上去，这样形成的金字塔既结合了语义信息又拥有定位信息，“双杀”。

二、PAN结构分析

PAN结构图如下图所示：

在FPN的自上而下形成的特征金字塔的基础上，来以下这波操作就是PAN啦

（1）先复制特征金字塔中最底下的那层（①），变成新特征金字塔的最底层。

（2）将新特征金字塔的最底层来一个下采样操作，然后原特征金字塔的倒数第二层进行一个3 * 3卷积，步幅为2；然后与下采样后的最底层进行一个横向连接，两者相加。最后再来一个3 * 3卷积来融合他们的特征。

（3）新特征金字塔其他层的操作与（2）一致。

 欢迎大家在评论区批评指正，谢谢大家~

【深度学习】PANnet ，Path Aggregation Network for Instance Segmentation 用于实例分割的路径聚合网络
q742971636的博客
03-31 1818
论文：https://arxiv.org/pdf/1803.01534.pdf 香港中文大学 2018 作品。 作者通过研究Mask R-CNN发现： （1）底层特征难以传达到高层次：features in low levels are helpful for large instance identification；But there is a long path from low-level structure to topmost features, increasing difficulty to
PyTorch深度学习实战（34）——DCGAN详解与实现
盼小辉丶的博客
01-25 6003
DCGAN 是优秀的图像生成模型，其生成网路和判别网络都是使用卷积层和反卷积层构建的深度神经网络。生成网络接收一个随机噪声向量作为输入，并通过逐渐减小的反卷积层将其逐渐转化为与训练数据相似的输出图像；判别网络则是一个用于分类真实和生成图像的卷积神经网络。在本节中，我们学习了如何构建并训练 DCGAN 生成人脸图像。
【目标检测--tricks】FPN和PAN
qq_40373651的博客
11-22 1万+
一、FPN结构 FPN结构图： FPN通过利用常规CNN模型内部从底至上各个层对同一scale图片不同维度的特征表达结构，提出了一种克有效在单一图片视图下生成对其的多维度特征表达的方式。它可以有效地赋能常规CNN模型，从而可以生成出表达能力更强地feature maps以供下一阶段计算机视觉任务（如object detection/semantic segmentation等）来使用。本质上说它是一种加强主干网络CNN特征表达的方法。 二、PAN结构 PAN即PANet，结构图如下： 简答来说，就是在FPN
图像超分辨率模型记录：PAN — Efficient Image Super-Resolution Using Pixel Attention
最新发布
weixin_51980361的博客
05-11 879
本文提出了一种基于像素注意力（Pixel Attention, PA）的高效图像超分辨率（SR）模型PAN。该模型通过引入3D注意力图，显著提升了轻量级卷积神经网络的性能。PA机制通过1x1卷积和Sigmoid激活函数生成像素级注意力权重，减少了附加参数的同时提高了重建质量。模型结构包括主分支的SC-PA模块和重建分支的U-PA模块，分别用于特征提取和上采样。实验表明，PAN在参数仅为272K的情况下，性能与SRResNet和CARN相当。PA对小型网络特别有效，但随着网络规模增大，其效果减弱。代码实现展示
通过残余深度学习进行PAN粉碎
03-27
深卷积神经网络（DCNN）的一个显着优势是它们对局部复杂结构的表示能力。 受此观察结果的启发，提出了一种基于DCNN的残差学习模型，以学习高分辨率（HR）和低分辨率（LR）图像块之间的非线性映射函数。 DCNN是基于图像块进行训练的，这些图像块仅从HR / LR全色（PAN）图像中采样而没有其他训练图像。 我们训练DCNN以基于反向传播的小批量梯度下降来获得具有HR / LR PAN补丁对的非线性映射函数。 从转移学习方法的观点出发，通过假设HR / LR多光谱（MS）图像在HR / LR PAN图像块之间共享相同的映射功能，可以使用训练后的DCNN从观察到的LR MS图像重建HR MS图像。 由于残差学习机制的优点，该方法可以在保持光谱特征的同时实现良好的几何细节注入。 实验结果表明，与传统方法相比，该方法在视觉感知和数值测量方面均具有更好的性能。
深度学习之FPN+PAN
weixin_43998635的博客
12-02 6754
FPN+PAN
深度学习中小知识点系列(八) 解读PAN与代码复现
专注于人工智能学习，总结
11-28 793
这个侧边分支与主干网络是平行的，由一系列卷积和上采样（即反卷积）操作组成，从而将低分辨率的特征图上采样到与高分辨率的特征图相同的分辨率。在这个过程中，每一层特征图的信息都会与上下相邻层的特征图融合，但与FPN不同的是，PAN会将不同层级的特征图融合后的结果进行加和，而不是级联。具体而言，PAN中首先将低分辨率的特征图进行上采样，然后将其与高分辨率的特征图进行拼接，得到一个更加丰富的特征图。同时，PAN中的特征融合方式也具有一定的优势，能够更好地保留低分辨率特征图中的细节信息，从而提高分割的准确性。
【深度学习之三】FPN与PAN网络详解
qq_45636998的博客
12-19 4144
对比FPN与PAN，详细解释两个网络架构
基于深度学习的全色图像锐化(Pansharpening)论文及代码整理
fovever_的博客
04-30 1万+
基于深度学习的全色图像锐化(Pansharpening)论文及代码整理。主要从有监督的全色图像锐化框架和无监督的全色图像锐化框架两个方面来整理现有的基于深度学习的全色图像锐化论文。
21个项目玩转深度学习基于TensorFlow的实践详解源码.zip
08-04
《21个项目玩转深度学习基于TensorFlow的实践详解源码》是一份极其珍贵的教育资源，它涵盖了深度学习领域的多个重要应用，旨在帮助学习者通过实际操作来掌握TensorFlow这一强大的机器学习框架。该资源主要面向对深度...
深度学习500问的pdf版本
06-20
《深度学习500问》是一本非常实用的深度学习教程资源，由GitHub用户scutan90编写并分享。这本书涵盖了深度学习领域的诸多基础知识、理论概念以及实践技巧，旨在帮助初学者和进阶者深入理解并掌握深度学习的核心概念...
通过残留深度学习进行PAN粉碎
04-01
深卷积神经网络（DCNN）的一个显着优势是它们对局部复杂结构的表示能力。 受此观察结果的启发，提出了一种基于DCNN的残差学习模型，以学习高分辨率（HR）和低分辨率（LR）图像块之间的非线性映射函数。 DCNN是基于图像块进行训练的，这些图像块仅从HR / LR全色（PAN）图像中采样而没有其他训练图像。 我们训练DCNN以基于反向传播的小批量梯度下降来获得具有HR / LR PAN补丁对的非线性映射函数。 从转移学习方法的观点出发，通过假设HR / LR多光谱（MS）图像在HR / LR PAN图像块之间共享相同的映射功能，可以使用训练后的DCNN从观察到的LR MS图像重建HR MS图像。 由于残差学习机制的优点，该方法可以在保持光谱特征的同时实现良好的几何细节注入。 实验结果表明，与传统方法相比，该方法在视觉感知和数值测量方面均具有更好的性能。
Datawhale X 李宏毅苹果书 AI夏令营《深度学习详解》- 3.1 3.2
tenghe5926的博客
08-27 1937
Datawhale X 李宏毅苹果书 AI夏令营
PyTorch深度学习实战（36）——Pix2Pix详解与实现
盼小辉丶的博客
01-31 7261
Pix2Pix 是基于生成对抗网络的图像转换框架，能够将输入图像转换为与之对应的输出图像，能够广泛用于图像到图像转换的任务，如风格转换、图像修复、语义标签到图像的转换等。Pix2Pix 的核心思想是通过对抗训练将输入图像和目标输出图像进行配对，使生成网络可以学习到输入图像到输出图像的映射关系。在本节中，将学习使用 Pix2Pix 根据给定轮廓生成图像。
深度学习之FPN和PAN
热门推荐
UHL1107的博客
04-29 1万+
注：借鉴整理，仅供自学，侵删 FPN是自顶向下，将高层的强语义特征传递下来，对整个金字塔进行增强，不过只增强了语义信息，对定位信息没有传递。PAN就是针对这一点，在FPN的后面添加一个自底向上的金字塔，对FPN补充，将低层的强定位特征传递上去，又被称之为“双塔战术”。 FPN（feature pyramid networks）算法讲解 PANet简单笔记 ...
深度学习几种典型架构
weixin_34344403的博客
12-20 822
介绍几种典型的深度学习架构。 卷积神经网络(CNN) 卷积神经网络由LeCun提出。在Kaggle竞赛中取得了巨大成功。 典型的卷积网络有两部分。 第一个是负责特征提取，由一对或多对卷积和子采样/最大池化层组成。 第二部分是经典的全连接多层感知器，将提取的特征作为输入。如下图所示。 卷积神经网络架构 长短期记忆网络（LSTM) 长短期记忆网络是比较流行的一种网络结构。 LSTM架构 长短期记忆...
深度学习文章
PANHUBO的博客
09-07 496
深度学习(Deep Learning)的学习文章，感谢博主Zouxy的贡献。文章链接：http://blog.youkuaiyun.com/zouxy09/article/details/8775488
基于深度学习的PAN图和MS图的融合分类
嗑研狗的日常
10-28 1868
基于深度学习的PAN图和MS图的融合分类 论文：Deep Multiple Instance Learning-Based Spatial–Spectral Classification for PAN and MS Imagery 链接: https://ieeexplore.ieee.org/document/8048556. 数据介绍 1、PAN：空间信息丰富 2、MS：光谱信息丰富 网络框架 针对不同的输入图像使用不同的网络框架（采用级联的方式进行融合）： 分类结果 ...
【Deep Learning】三种经典的网络结构
pangpd的博客
03-31 2040
LeNet-5 ​ LeNet-5出自论文**《Gradient-Based Learning Applied to Document Recognition》（1998年），是一种用于手写体字符识别的非常高效的卷积神经网络。Lenet-5是Yann LeCun提出。由于LeNet-5是针对识别手写体识别所提出的网络，所以输入的大小为32 x 32 x 1**的灰度图像 ​ LeNet-5共有...
pan结构
03-12
### PAN 结构介绍 PAN (Path Aggregation Network) 是一种用于增强特征金字塔网络(Feature Pyramid Networks, FPN)的架构设计，旨在提升目标检测和其他计算机视觉任务中的多尺度表示能力[^1]。FPN通过自上而下的路径来融合来自不同层次的信息，但是这种单向的信息流可能会导致低层细节丢失或者高层语义信息不足。 为了克服这些问题，PAN引入了一个额外的自底向上路径，使得底层富含空间信息的特征可以更好地传递给顶层，从而形成更强大的特征表达。具体来说，在标准FPN的基础上增加了两条横向连接：一条是从最底部的高分辨率浅层特征图逐层加权相加以补充到每一级；另一条则是从经过处理后的深层特征反向传播回较浅位置，最终得到一个双向聚合的特征金字塔结构。 #### 应用场景 PAN因其出色的性能被广泛应用于多种计算机视觉任务中： - **物体检测**：特别是在小目标检测方面表现出色，因为其能够有效地保留图像中小尺寸对象的空间信息。 - **实例分割**：如Panoptic FPN所展示的那样，该方法不仅提高了边界框预测精度，还增强了像素级别的分类准确性。 - **姿态估计**：对于人体或其他复杂形状的目标而言，精确捕捉局部区域内的细微变化至关重要，而这正是PAN擅长之处。 - **视频理解**：当涉及到连续帧之间的关联性和一致性时，利用时间维度上的上下文线索同样重要，此时采用类似于PAN的设计可以帮助改善时空建模效果。 ```python import torch.nn as nn class PathAggregationNetwork(nn.Module): def __init__(self, in_channels_list, out_channel=256): super(PathAggregationNetwork, self).__init__() # 自顶向下部分（Top-down pathway） self.lateral_convs = nn.ModuleList() self.fpn_convs = nn.ModuleList() for i in range(len(in_channels_list)): lateral_conv = ConvModule( in_channels_list[i], out_channel, kernel_size=1) fpn_conv = ConvModule( out_channel, out_channel, kernel_size=3, padding=1) self.lateral_convs.append(lateral_conv) self.fpn_convs.append(fpn_conv) # 自底向上部分（Bottom-up pathway） self.bottom_up_convs = nn.ModuleList([ ConvModule(out_channel * 2, out_channel, kernel_size=3, padding=1), ConvModule(out_channel * 2, out_channel, kernel_size=3, padding=1)]) def forward(self, inputs): laterals = [ lat_conv(inputs[i]) for i, lat_conv in enumerate(self.lateral_convs)] used_backbone_levels = len(laterals) for i in range(used_backbone_levels - 1, 0, -1): prev_shape = laterals[i - 1].shape[2:] laterals[i - 1] += F.interpolate( laterals[i], size=prev_shape, mode='nearest') outs = [ self.fpn_convs[i](laterals[i]) for i in range(used_backbone_levels)] bottom_up_outs = [] bottom_up_outs.append(outs[-1]) for i in range(len(outs)-2,-1,-1): bottom_up_outs.insert(0,F.max_pool2d(bottom_up_outs[0],kernel_size=3,stride=2,padding=1)+outs[i]) return tuple(bottom_up_outs) ```
评论 8
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

tt丫

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值