【实例分割系列：二】PANet 论文 笔记解析 Path Aggregation Network for Instance Segmentation

PANet实例分割解析：自下而上的路径增强与适应性特征池化
最新推荐文章于 2024-08-09 08:35:48 发布
原创 最新推荐文章于 2024-08-09 08:35:48 发布 · 4.1k 阅读 · 10 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#Path Aggregation Network for Instan #2018 cvpr #PANet

PANet通过缩短信息路径和利用低层级定位信息优化特征金字塔，解决Instance Segmentation中高层级特征与低层级信息结合的问题。文章介绍了增强底部结构、适应性特征池化和全连接融合层，以提高实例分割的性能。适应性特征池化允许从所有层次融合特征，而全连接融合层则增强了mask预测的准确性。

2018 CVPR
COCO2017/CityScapes instance segmentation 第一

Instance Segmentation

Path Aggregation Network for Instance Segmentation
代码地址

Mask R-CNN 中的信息传播 优化

PANet

Introduce

解决问题：

  • 低层级的特征对于大型实例识别很有用， 最高层级特征和较低层级特征之间的路径长
  • 每个建议区域都是基于 从一个特征层级池化 得到的 特征网格而预测的，此分配是启发式的。由于其它层级的丢弃信息可能对于最终的预测还有用，这个流程还有进一步优化的空间
  • mask 预测仅在单个视野上执行，无法获得更加多样化的信息

改进

  • 缩短信息路径和用低层级的准确定位信息增强特征金字塔，创建了自下而上的路径增强
  • 为了恢复每个建议区域和所有特征层级之间被破坏的信息，作者开发了适应性特征池化（adaptive feature pooling）技术

可以将所有特征层级中的特征整合到每个建议区域中，避免了任意分配的结果。

  • 全连接融合层：使用一个小型fc层用于补充mask预测

Augmented Bottom-up Structure

改动原因：

  • low-level的feature是很利于定位用的，虽然FPN中P5也间接得有了low-level的特征，但是信息流动路线太长了如 红色虚线 所示 (其中有 ResNet50/101很多卷积层 )

  • 本文在 FPN 的 P2-P5 又加了 low-level 的特征，最底层的特征流动到 N2-N5 只需要经过很少的层如绿色需要所示 (仅仅有几个降维 [3×3 ,stride 2 ]的卷积)

以ResNet作为基础结构，使用 P 2 , P 3 , P 4 , P 5 {P_2,P_3,P_4,P_5 } P2​,P3​,P4​,

最低0.47元/天 解锁文章
[论文阅读]PANet(PAFPN)——用于实例分割的路径聚合网络
qq_53909832的博客
10-09 2万+
PANet（PAFPN）论文阅读
[小样本图像分割]PANet: Few-Shot Image Semantic Segmentation with Prototype Alignment
qq_38932073的博客
03-26 6640
PANet:基于原型对齐的Few Shot图像语义分割（ICCV19） 摘要 本文从度量学习的角度来解决Few Shot Segmentation问题，提出一种新的原型对齐网络来更好地利用支持集信息。PANet从嵌入空间内的一些支持图像中学习特定类的原型表示，然后通过将每个像素与学习到的原型进行匹配，对查询图像进行分割。 通过非参数度量学习，PANet提供了代表每个语义类的高质量原型，这些原型同时还存在对不同类的判别信息。此外，PANet还引入了一种支持和查询之间的原型对齐正则化。在此基础上，PANet充分
PANet：Path Aggregation Network for Instance Segmentation论文阅读
xh_hit的博客
07-14 3282
概述本文出自于港中文和腾讯优图，是COCO2017 instance segmentation的冠军作品。作者针对Mask-RCNN做了部分改进，笔者认为其两大贡献在于：bottom-up path augmentation 以及adaptive feature pooling。Abstract：层与层之间信息的传播在深度学习网络中至关重要，低层特征包含精准的位置信息，因此本文提出了bottom-...
深度学习_图像分割_PANet论文详解
欢迎大家关注我
08-04 2938
PANet论链接 PANet介绍 这篇文章提出的Path Aggregation Network (PANet)整体上可以看做是在Mask RCNN上做多处改进，充分利用了特征融合： 引入bottom-up path augmentation结构，充分利用网络浅特征进行分割。 引入adaptive feature pooling使得提取到的ROI特征更加丰富。 引入fully-connected fusion，通过融合一个前背景二分类支路的输出得到精确的分割结果。 上图是关于PANet的示意图，主要包
推荐文章：Path Aggregation Network（PANet）- 实例分割领域的一颗璀璨明珠
gitblog_00437的博客
08-09 896
???? 推荐文章：Path Aggregation Network（PANet）- 实例分割领域的一颗璀璨明珠 PANetPANet for Instance Segmentation and Object Detection项目地址:https://gitcode.com/gh_mirrors/pa/PANet 在计算机视觉中，实例分割是识别图像中多个物体的像素级边界的任务。Path Aggreg...
[深度学习论文笔记][CVPR 18]Path Aggregation Network for Instance Segmentation
KFXW的专栏
03-12 2781
本文提出了名为PANet的网络结构，用于物体检测(object detection)和实例分割(instance segmentation)任务。该网络基于FPN[1]和Mask RCNN[2]模型之上提出了三点创新，显著地提升了模型在物体检测和实例分割网络上的性能
Path Aggregation Network for Instance Segmentation 论文笔记
qq_30146937的博客
05-22 344
前言
Path Aggregation Network for Instance Segmentation阅读笔记
FLY的博客
01-25 494
1.实例分割思想： 机器自动从图像中用目标检测方法框出不同实例，再用语义分割方法在不同实例区域内进行逐像素标记，区分不同物体和背景。 2.目前情况 文章研究者指出当前最优的 Mask R-CNN 中的信息传播还可以进一步优化。具体来说，低层级的特征对于大型实例识别很有用。但最高层级特征和较低层级特征之间的路径很长，增加了访问准确定位信息的难度。每个候选区域都是源于一个特征层次上的特征网络池化的，其...
【论文阅读/翻译笔记】Deep Snake for Real-Time Instance Segmentation
HuanCaoO的博客
09-02 2099
用于实时实例分割的deep snake算法 Sida Peng1，Wen Jiang1，Huaijin Pi1，Xiuli Li2，Hujun Bao2，Xiaowei Zhou1* 1Zhejiang University，2Deepwise AI Lab 摘要       本文提出了一种基于轮廓的实时实例分割方法——deep snake。与最近一些直接从图像回归目标边界点坐标的方法不同，deep snake使用神经网络迭代变形最初的轮廓以匹配目
PANet 学习笔记
W1995S的博客
06-18 1118
PANet是18年的一篇CVPR，作者来自港中文，北大，商汤与腾讯优图，PANET可看作Mask-RCNN+，是在Mask-RCNN基础上做的几处改进。 Introduce 解决问题： 当前实例分割最佳模型Mask-RCNN的信息传播还不够充分，低层级的特征对于大型实例识别很有用， 最高层级特征和较低层级特征之间的路径长 每个建议区域都是基于 从一个特征层级池化 得到的 特征网格而预测的，此分配是启发式的。由于其它层级的丢弃信息可能对于最终的预测还有用，这个流程还有进一步优化的空间 mask 预测仅在单个
PANet论文笔记
陈建驱的博客
08-20 1998
论文：Path Aggregation Network for Instance Segmentation.Shu Liu,Lu Qi,Haifang Qin,Jianping Shi,Jiaya Jia. 摘要 在NN中让信息自由流动很重要，本文提出了PANet(Path Aggregation Network)用于在proposal-based的实例分割框架中提高了信息流动的能力。具体地说，本文通过自底向上的路径拓展来增强整体的特征层次，从而缩短了底层和顶层之间的信息传播距离。由此，...
论文Path Aggregation Network for Instance Segmentation笔记
cl2227619761的博客
06-11 1347
Path Aggregation Network for Instance Segmentation论文发表于2018CVPR，香港中文大学+北京大学+商汤科技+腾讯优图实验室 共同完成； 论文传送门 github代码传送门 摘要 在神经网络中，信息的传递方式非常重要。基于此，该论文在FPN的基础上提出PANet，用于改善信息在网络中的传递方式。具体体现在： bottom-up path augmentation，即自下而上的一条通路结构增强底层特征的传递，因为底层特征利于定位，所以将FPN融合后的特.
(论文阅读)实例分割之PANet
血狼傲骨
10-12 2399
PANet一、论文简介1.1、论文和代码链接1.2、论文基本信息二、详细解读2.1、摘要2.2、介绍2.3、网络架构2.4、改进与创新2.5、实验结果三、总结与思考 一、论文简介 1.1、论文和代码链接 paper:http://xxx.itp.ac.cn/pdf/1803.01534.pdf code:https://codechina.youkuaiyun.com/mirrors/ShuLiu1993/PANet?utm_source=csdn_github_accelerator 1.2、论文基本信息 发表于C
PANet
Bruce_0712的博客
09-27 870
论文：Path Aggregation Network for Instance Segmentation 论文链接：https://arxiv.org/abs/1803.01534 这篇是CVPR2018关于实例分割（instance segmentation）的文章，既是COCO2017实例分割比赛的冠军，也是目标检测比赛的第二名。 这篇文章提出的Path Aggregation Network (PANet)整体上可以看做是在Mask RCNN上做多处改进，充分利用了特征融合，比如引入bottom
PANET
qq_32256033的博客
01-16 381
`class mask_rcnn_fcn_head_v1upXconvs_gn_adp_ff(nn.Module): “”“v1upXconvs design: X * (conv 3x3), convT 2x2, with GroupNorm”"" def init(self, dim_in, roi_xform_func, spatial_scale, num_convs): super()....
论文阅读五：PANet《Path Aggregation Network for Instance Segmentation》
weixin_45209433的博客
05-17 1116
一、论文出发点    1、神经网络中，低层特征主要是一些边缘轮廓信息，有助于定位，而高层特征是一些语义信息，有助于分类，在FPN中提出了top-to-down的多层特征融合的线路，来增加每层特征的丰富性，但是，整个网络，例如Mask R-CNN中，低层特征流向高层特征的路线过长，导致高层特征中包含的定位信息比较少。     2、Mask R-CNN中，大size的proposal被分配到高层特征，小size的proposal被分配到低层特征，导致单个proposal只在一个特征层上进行预测，预测该propo
【翻译】【PANet】Path Aggregation Network for Instance Segmentation
jokerwu192的博客
02-14 867
信息在神经网络中的传播方式是非常重要的。在本文中，我们提出了路径聚合网络（PANet），旨在提高基于proposal的实例分割框架中的信息流。具体来说，我们通过自下而上的路径增强来提高整个特征层次的准确定位信号，从而缩短了低层和最顶层特征之间的信息路径。我们提出了自适应特征池，它将特征网格和所有的特征层次联系起来，使每个层次的有用信息直接传播到下面的proposal子网络。为每个proposal创建了一个捕捉不同观点的补充分支，以进一步改善掩码预测。这些改进很容易实现，但有细微的额外计算开销。
PANet[详解]
热门推荐
gdtop的个人笔记
03-06 4万+
一、Abstract摘要&Introduction介绍 Abstract 信息在神经网络中的传播方式非常重要。本文提出了一种基于提议的实例分割框架下的路径聚合网络Path Aggregation Network (PANet)，旨在促进信息的流动。具体地说，我们通过自底向上的路径增强，利用准确的低层定位信号增强整个特征层次，从而缩短了低层与顶层特征之间的信息路径。我们提出了自适应特征池...
PANet网络
xinxin的博客
04-08 942
3. **路径聚合模块：** PANet引入了路径聚合模块来有效地融合不同尺度的特征信息。2. **自顶向下的信息传递：** PANet引入了自顶向下的信息传递路径，通过上采样或插值操作将高层特征传递到低层，以提高低层特征的分辨率和语义信息。值得注意的是，PANet 的设计结构提供了一种通用的多尺度信息聚合方法，可用于各种基于CNN的目标检测模型，并在许多竞赛和实际应用中取得了良好的效果。1. **多尺度特征提取：** PANet采用了自底向上的特征提取路径，从底层到高层逐步提取多尺度的特征表示。
详细介绍《Path Aggregation Network for Instance Segmentation》中的Panet算法
最新发布
07-16
<think>嗯，用户要求详细解释PANet算法在实例分割中的应用与结构。从对话历史看，用户之前可能讨论过YOLO系列或其他目标检测模型，因为引用中提到了SPP和PAN结构（引用1和2），以及YOLO的基础知识（引用3）。用户现在聚焦于PANet的原论文内容，需要专业且系统的解释。 用户身份可能是计算机视觉方向的研究者或工程师，对实例分割有进阶需求。ta特意提到论文标题《Path Aggregation Network for Instance Segmentation》，说明需要紧扣原始论文的细节，而非泛泛而谈。深层需求可能是想理解PANet如何解决多尺度融合问题，或为改进现有模型（如YOLO）寻找理论依据。 我需要从三个层次展开：1）算法动机（解决什么问题），2）核心结构（四个关键技术点），3）实例分割中的具体实现。尤其要突出"自底向上增强"和"自适应特征池化"这两个创新点，因为引用2提到过CSP模块的特征融合优势，可以间接呼应。 注意用户要求严格使用LaTeX格式。比如特征图尺寸要写成$H\times W\times C$，损失函数中的$\lambda$参数等。独立公式如FPN结构对比需要$$...$$单独成段。 相关问题的设计需延续实例分割主题：1）性能分析可对比Mask R-CNN，2）优化方向结合引用2提到的鲁棒性，3）下游应用延伸医疗影像等场景。避免重复YOLO内容，专注实例分割。</think>以下是关于**Path Aggregation Network (PANet)** 在实例分割中的应用与结构的详细解析： --- ### **一、算法背景与动机** PANet由Shu Liu等人在2018年提出（论文《Path Aggregation Network for Instance Segmentation》），旨在解决**多尺度目标检测与分割中的信息传递损失**问题。其核心思想是**增强特征金字塔中底层细节信息与高层语义信息的融合效率**，尤其针对小目标检测和复杂边界的实例分割任务[^1]。 --- ### **二、PANet核心结构** PANet在FPN（Feature Pyramid Network）基础上进行改进，包含四个关键模块： #### **1. 自底向上路径增强（Bottom-up Path Augmentation）** - **问题**：FPN的自顶向下路径中，深层特征传递到浅层时细节信息易丢失。 - **解决方案**： 增加一条**自底向上的路径**（绿色路径），直接连接浅层到深层特征，形成**双向特征金字塔**： $$ \text{浅层特征} \xrightarrow{\text{卷积}} \text{深层特征} $$ - 例如：$P_2 \rightarrow N_2, \quad P_3 \rightarrow N_3, \quad \dots$（$P_i$为FPN输出层，$N_i$为增强层） - **作用**：保留更多边缘、纹理等细节信息，提升小目标检测能力[^1][^2]。 #### **2. 自适应特征池化（Adaptive Feature Pooling）** - **问题**：RoI pooling仅从单一特征层提取特征，对尺度变化敏感。 - **解决方案**： 每个候选区域（RoI）从**所有特征层**（$N_2$到$N_5$）池化特征，再融合： $$ \text{RoI特征} = \text{Concat}\left( \text{MaxPool}(N_2), \dots, \text{MaxPool}(N_5) \right) $$ - **作用**：融合多尺度上下文信息，提升目标定位精度[^1]。 #### **3. 全连接融合（Fully-Connected Fusion）** - **问题**：实例分割中，掩码预测分支（Mask Branch）通常仅使用卷积层。 - **改进**： 在掩码预测分支引入**全连接层**，增强特征表达能力： ``` 输入特征 → 卷积层 → 全连接层 → 反卷积 → 输出掩码 ``` - **作用**：捕获全局上下文关系，提升分割边界精度[^1]。 #### **4. 互补分支（Complementary Branch）** - **设计**： 在分类、回归、分割分支外，**增加一个辅助分支**（如关键点预测），通过多任务学习提升特征泛化性。 - **作用**：强化特征鲁棒性，减少过拟合[^2]。 --- ### **三、在实例分割中的应用** PANet主要作为**Mask R-CNN的增强模块**使用： 1. **特征提取**： 骨干网络（如ResNet）生成多尺度特征图。 2. **特征融合**： 通过双向金字塔（FPN+PANet）融合高低层特征。 3. **区域建议**： RPN生成候选框，经自适应池化获得多尺度RoI特征。 4. **预测头**： - 分类与回归分支预测目标类别和边界框。 - 分割分支（含全连接层）生成像素级掩码。 --- ### **四、性能优势** 1. **小目标检测**： 自底向上路径保留的细节信息使小目标AP提升约5%[^1]。 2. **掩码精度**： 在COCO数据集上，掩码AP达到**42.3%**（较Mask R-CNN提高3.5%）[^1]。 3. **训练效率**： 自适应池化减少了对图像金字塔的依赖，加速训练[^2]。 --- ### **五、结构示意图** ```mermaid graph LR A[输入图像] --> B[骨干网络 ResNet] B --> C[FPN自顶向下路径] B --> D[PANet自底向上路径] C & D --> E[双向特征金字塔] E --> F[RPN生成候选框] F --> G[自适应特征池化] G --> H[分类/回归/分割分支] ``` ---
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值