极简笔记 Path Aggregation Network for Instance Segmentation

本文介绍PANet网络,其三大创新包括:Bottom-up Path Augmentation增强底层特征传播;Adaptive Feature Pooling融合多尺度特征;Fully-connected Fusion通过全连接层改善分割表现。该网络在COCO2017挑战赛中取得优异成绩。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

极简笔记 Path Aggregation Network for Instance Segmentation

论文地址 https://arxiv.org/abs/1803.01534

本篇文章核心提出一个用于instance segmentation的网络PANet,如图三点改进:
framework

Bottom-up Path Augmentation

在FPN之后再加入从底层到高层的卷积操作。文章解释说,在FPN之前的骨架网络深度非常深(来个100+层),为了方便底层信息向后传递,能够在决策层面被利用,所以在FPN之后又加了bottom-up path,使得底层信息到决策层面的最短路径不用从back-bone走,从FPN的cut再走bottom-up path加起来不到十层就可以了,能够更有效地被利用。bottom-up path结构如图, N2 N 2 就是 P2 P 2 ,之后 Ni N i 经过一个3x3卷积(stride=2),加上 Pi+1 P i + 1 ,再一个3x3卷积得到 Ni+1 N i + 1 ,如此循环。

Adaptive Feature Pooling

作者做了个统计,发现某个尺度的决策信息并不是完全来自于对应层级的feature map,绝大多数信息来自于其他层级,所以所有层级的feature map都需要用。文章中作者在不同层级feature map的proposal做ROIAligned之后做逐像素的max operation,算是把不同尺度的feature map fuse together。
statistic

Fully-connected Fusion

作者认为分割的时候,FCN的方式主要依靠局部感受野,而fully-connect layer对于众多局部信息的组合能够有更好的表达能力(参数更多),能把各个局部的信息组合起来形成proposal的整体。所以作者如图新开一个分支,里面做了一次全连接操作,并且映射到相同的spatial size和FCN的结果相加。作者说只做一次全连接而不是多次是为了防止全连接太多把特征的spatial information给丢失掉了。在两个feature map融合的时候作者把“max”,“sum”,“product”方式均做了实验,发现还是“sum”好。
这里写图片描述
PANet在COCO 2017 challenges中取得instance segmentation 1st和object detection 2nd,与往年的champion效果对比如下表
这里写图片描述

### Path Aggregation Network (PANet) 实现的 GitHub 仓库 以下是几个常见的开源项目,它们实现了 PANet 或类似的架构用于实例分割: #### 1. **Facebook Research 的 Detectron2** Detectron2 是 Facebook 提供的一个模块化的对象检测库,支持多种最先进的算法,其中包括 PANet。它是一个功能强大的工具包,能够轻松实现并测试各种目标检测和实例分割模型。 ```python import detectron2 from detectron2.config import get_cfg from detectron2.engine import DefaultPredictor cfg = get_cfg() cfg.merge_from_file("configs/COCO-InstanceSegmentation/mask_rcnn_R_50_FPN_3x.yaml") # 使用预定义配置文件 cfg.MODEL.WEIGHTS = "detectron2://COCO-InstanceSegmentation/mask_rcnn_R_50_FPN_3x/137849600/model_final_f10217.pkl" predictor = DefaultPredictor(cfg) # 测试图像输入 output = predictor(im) ``` GitHub 地址: [https://github.com/facebookresearch/detectron2](https://github.com/facebookresearch/detectron2)[^5] --- #### 2. **MMDetection** MMDetection 是由 OpenMMLab 开发的一套灵活的目标检测框架,其中包含了 PANet 和其他先进的实例分割方法。该框架易于扩展,并且提供了丰富的文档和支持。 安装命令如下: ```bash pip install mmdet ``` 运行示例代码: ```python from mmdet.apis import init_detector, inference_detector config_file = 'configs/pascal_voc/faster_rcnn_r50_fpn_1x_voc0712.py' checkpoint_file = 'checkpoints/faster_rcnn_r50_fpn_1x_voc0712.pth' model = init_detector(config_file, checkpoint_file, device='cuda:0') result = inference_detector(model, img) ``` GitHub 地址: [https://github.com/open-mmlab/mmdetection](https://github.com/open-mmlab/mmdetection)[^6] --- #### 3. **PyTorch Implementation of PANet** 这是一个独立的 PyTorch 实现版本,专注于 PANet 架构的核心部分——路径聚合网络(Path Aggregation Network)。此存储库适合希望深入理解 PANet 工作原理的研究人员或开发者。 GitHub 地址: [https://github.com/NVIDIA/DeepLearningExamples/tree/master/PyTorch/Detection/PANet](https://github.com/NVIDIA/DeepLearningExamples/tree/master/PyTorch/Detection/PANet)[^7] --- ### 关键技术点解析 - PANet 引入了一种新的特征传播机制,即自底向上的路径增强,这使得低层特征可以更有效地传递位置信息给高层特征[^2]。 - Adaptive Feature Pooling 技术允许每个 proposal 更加灵活地从多层特征图中提取信息,从而提高了 mask 预测的能力。 - 此外,在某些改进版的 PANet 中加入了全卷积分支来进行像素级别的内容分割,进一步增强了上下文感知能力[^3]。 --- ###
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值