百度飞浆图像分割课程 笔记11：实例分割 Mask R-CNN [ICCV 2017]

最新推荐文章于 2024-04-13 09:38:34 发布
最新推荐文章于 2024-04-13 09:38:34 发布
阅读量1.6k 收藏
点赞数
分类专栏： 百度飞浆图像分割课程 笔记 文章标签： 百度 r语言 cnn
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_39804263/article/details/120996437
版权
本文详细介绍了Mask R-CNN框架，这是一个用于对象检测和实例分割的深度学习模型。首先，通过RPN网络提取候选框，接着使用RoIAlign或RoIPooling操作获取固定大小的特征图进行分类和框调整，同时为正样本预测分割mask。特征金字塔网络（FPN）用于融合不同尺度的特征，提高小物体检测的准确性。在头部结构中，针对不同的任务（分类、回归或mask生成）进行相应的处理。最后，讨论了mask分支的groundtruth生成方法及RoIAlign后的特征图上采样策略。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

Top-down：先做检测，再做分割

Mask R-CNN框架
在这里插入图片描述
目的：检测图像中的对象object（bounding box），同时为每个实例生成高质量的分割mask（框中哪个像素属于物体，哪个像素属于背景）

  • 第一阶段(RPN)：通过RPN网络提取候选框（哪些区域可能是物体）
  • 第二阶段：对于选取出来的候选框，通过RoIAlign或者RoIPooling操作得到固定大小的feature map（包括当前物体的一些信息），通过feature map来预测类别或者bounding box以及mask（mask只对正样本做）

Mask R-CNN主要组件
在这里插入图片描述
Region Proposal Network（区域建议网络）
在这里插入图片描述
目的：图片通过backbone得到feature map，在feature map上预测哪些地方有可能出现proposal

主要步骤：采用滑窗机制，在feature map每个点去预测多个anchor，通常根据不同长宽比设置9个anchor，然后计算anchor相对每个点代表的物体(或者包围的物体)的一个偏移量(x,y,w,h)，为4k coordinates。同时预测每个proposal是正样本和负样本的分数为多少，所以为2k scores。

具体实现细节参考NIPS2015发表的文章Faster R-CNN：https://proceedings.neurips.cc/paper/2015/file/14bfa6bb14875e45bba028a21ed38046-Paper.pdf

Feature Pyramid Network（特征金字塔网络）
在这里插入图片描述
用resnet101层网络提取特征。得到不同尺度的特征
从低分辨率往高分辨做渐进式的融合，使得每一层的feature

  • 一方面融合了更高的视觉信息
  • 一方面融合了多尺度的特征

小物体在高分辨率做，大物体在低分辨率上做
因为小物体可能本身为32×32，变成低分辨率可能变成1个pixel，就无法检测了。
最后做预测，但是Mask R-CNN其实可以不在FPN上面做，可以直接在backbone的最后面预测就行了

具体实现细节参考CVPR2017发表的文章：
https://openaccess.thecvf.com/content_cvpr_2017/papers/Lin_Feature_Pyramid_Networks_CVPR_2017_paper.pdf

Head Architecture（头部结构）
在这里插入图片描述
目的：mask分支怎么加到检测的分支上
不使用FPN的时候，怎么做mask生成
把RoIAlign出来的feature map（7×7×1024），通过一直输入，到res5得到feature map（7×7×2048）

  • 如果是做分类和回归：通过average pooling
  • 如果是做mask生成：通过反卷积（上采样）得到更高分辨率的feature map，然后预测80类的mask（coco数据）

mask分支对应的ground true是怎么生成的？

对于proposal，跟ground truth的bounding boxes找一个IoU最大的bounding boxes
在分割的时候，把proposal对应的ground truth的mask做一个变换，当作proposal在mask分支的ground truth

首先RoIAlign（本质就是双线性插值）通过两次卷积conv，输出为（7×7或者14×14），上采样成28×28，两种方法：

  • resize到原始ground true mask的大小
  • 将原始的mask resize成28×28，mask可能超过框，我们通过框把mask做截取，然后再resize成28×28
基于 Mask R-CNN 的实例分割：从零开始构建一个强大的分割模型
sybh的博客
04-15 1043
在本文中，我们将介绍如何使用 Mask R-CNN（Region-based Convolutional Networks with Masks）实现实例分割。实例分割是计算机视觉中的一种任务，旨在识别并分割图像中的各个对象。我们将讨论如何准备数据集、配置 Mask R-CNN 模型并在自定义数据集上进行训练。
Mask R-CNN实例分割模型在遥感灾害检测上的应用
qq_35701589的博客
12-13 4276
Mask R-CNN实例分割模型热力图+可视化 文章目录Mask R-CNN实例分割模型热力图+可视化前言一、实例分割是什么？二、示例1.环境配置2.数据集下载3.代码修改3.热力图4.可视化总结 前言 随着人工智能的不断发展，机器学习这门技术也越来越重要，很多人都开启了学习机器学习，本文就介绍了机器学习的基础内容。 提示：以下是本篇文章正文内容，下面案例可供参考 一、实例分割是什么？ 话不多说，直接上图。 二、示例 这是代码的链接(Tensorflow版本)：https://github.com
mask rcnn实例分割_使用Mask-RCNN的实例分割
weixin_26752765的博客
09-06 1509
mask rcnn实例分割In this article, I will be creating my own trained model for detecting potholes. For detection, I will be using the instance segmentation technique using the Mask-RCNN with the help of Su...
实例分割模型Mask R-CNN详解：从R-CNN，Fast R-CNN，Faster R-CNN再到Mask R-CNN
热门推荐
jiongnima的博客
01-21 10万+
   Mask R-CNN是ICCV 2017的best paper，彰显了机器学习计算机视觉领域在2017年的最新成果。在机器学习2017年的最新发展中，单任务的网络结构已经逐渐不再引人瞩目，取而代之的是集成，复杂，一石多鸟的多任务网络模型。Mask R-CNN就是典型的代表。本篇大作的一作是何凯明，在该篇论文发表的时候，何凯明已经去了FaceBook。我们先来看一下，Mask R-CNN取得了...
Mask-RCNN网络——实例分割
weixin_43227526的博客
04-16 6919
Mask-RCNN网络——实例分割
实例分割之 Mask R-CNN
鹊踏枝-码农的专栏
07-14 3358
论文地址：Mask R-CNN代码地址：facebookresearch/DetectronMask R-CNN是在Faster R-CNN的基础上进行了改进。Faster R-CNN主要是用来进行目标识别的，为了能够进行实例分割，Mask R-CNN在Faster R-CNN的基础上加了一个分支，这个分支主要是由一个small FCN（全卷积网络）构成。这个FCN就是用来输出一个Mask，这也就...
百度飞浆图像分割课程 笔记12：实例分割 SOLO [ECCV 2020]
qq_39804263的博客
10-28 410
SOLO：Segmentation Objects by Locations SOLO框架
OpenCV中使用Mask R-CNN进行基于深度学习的对象检测和实例分割
03-17
OpenCV中使用Mask R-CNN进行基于深度学习的对象检测和实例分割
Mask R-CNN 论文学习笔记
weixin_43179892的博客
09-16 310
论文基本信息 标题：Mask R-CNN 作者：Kaiming He Georgia Gkioxari Piotr Dollár Ross Girshick 机构：Facebook AI Research (FAIR) 来源：ICCV 时间：2017 论文地址：https://arxiv.org/abs/1703.06870 代码地址:https://github.com/facebookresearch/Detectron 论文概要 解决问题 本文在Faster RCNN上进行了改进，提出了Mask
[detectron2 ] Mask R-CNN代码笔记
Ah丶Weii
06-21 2301
RPN RPN中的`match_label`表示的是[0,-1,1] # forward pairwise_iou function match_quality_matrix = retry_if_cuda_oom(pairwise_iou)(gt_boxes_i, anchors) # [M x N] for each img # forward match function matched_idxs, gt_labels_i = retry_if_cuda_oom(self.anchor_matche
论文笔记：Mask R-CNN
欢迎来到我的酒馆
04-14 4818
Kaiming He 新作，貌似投iccv？ 论文地址： https://arxiv.org/abs/1703.06870目标设计一个很棒的实例分割网络 Our goal in this work is to develop a comparably enabling framework for instance segmentation. 实例分割难点不仅仅要找出物体，还要语义分割 It
Mask R-CNN 论文笔记
JerryZhang__的博客
03-10 1299
Mask R-CNN arXiv : https://arxiv.org/pdf/1703.06870.pdf github： https://github.com/matterport/Mask_RCNN conf & anthor: ICCV17,Kaiming He et. al intro: ROI Align, FCN 主要内容： Mask R-CNN通过在Faster R-CN...
Mask R-CNN 笔记
qq_24548569的博客
10-07 773
何恺明大神的Mask R-CNN获得ICCV最佳论文奖。Mask R-CNN通过扩展Faster R-CNN来实现实例分割，同时还可以用于人体关键点检测。 语义分割 VS 实例分割 首先说说语义分割和实例分割的区别。语义分割是分割不同类别，而实例分割在分割类别的同时分割类别的实例，通过下面的图片来更好地理解二者的区别 实例分割比语义分割更难一些。 Mask R-CNN Architecture...
百度飞桨图像分割七日打卡营学习笔记
haoah316的博客
10-25 893
百度飞桨图像分割七日打卡营学习笔记 （来源：飞桨图像分割教程，王老师） 1.语义分割概念： 图像分割是计算机视觉中除了分类和检测外的另一项基本任务，它意味着要将图片根据内容分割成不同的块。相比图像分类和检测，分割是一项更精细的工作，因为需要对每个像素点分类，如下图的街景分割，由于对每个像素点都分类，物体的轮廓是精准勾勒的，而不是像检测那样给出边界框。图像分割可以分为两类：语义分割（Semantic Segmentation）和实例分割（Instance Segmentation）。区别如下图所示：语义分割只
【实例分割】3、Mask Scoring R-CNN
呆呆的猫的博客
05-08 3124
摘要 实例分割的很多框架中，实例分类的置信度被当做mask质量的衡量指标 mask的质量常被量化为 ： 实例mask和真值的 IoU，而与分类置信度没有很大的关联 本文提出了 Mask Scoring R-CNN，包含一个网络快来学习预测实例mask的好坏 本文网络将 实例特征 和 对应的预测mask 综合起来，来回归 mask 的 IoU Mask scoring 策略 将校正Mask 质量和M......
手把手教你使用LabVIEW实现Mask R-CNN图像实例分割（含源码）
virobotics的博客
06-09 2506
前面给大家介绍了使用LabVIEW工具包实现图像分类，目标检测，今天我们来看一下如何使用LabVIEW实现Mask R-CNN图像实例分割。
计算机视觉——Mask R-CNN实例分割原理与算法应用
最新发布
知来者逆的博客
04-13 5648
Mask R-CNN 适用于复杂任务，因为它既能进行像素级分割，又能进行物体定位。该方法可同时执行检测、分割和关键点估算，在各种应用中表现出色。在人工智能领域，它是对物体识别和分割的发展做出贡献的模型范例，在现实世界的计算机视觉任务中表现出色。
【飞桨AI实战】人像分割：手把手带你入门PaddleSeg，从模型训练、推理部署到应用开发
u010522887的专栏
04-04 5469
本文通过一个计算机视觉领域中最基础的任务之语义分割，带领大家熟悉百度PaddleSeg深度学习框架中的各种组件，覆盖了数据准备、模型训练评估、推理部署的全流程，最后通过应用开发实现了一个简单的前后端分离项目。
mask rcnn实例分割
shuijinghua的博客
06-04 7262
参考网址：https://baijiahao.baidu.com/s?id=1595621180643410921&wfr=spider&for=pc https://blog.youkuaiyun.com/jiongnima/article/details/79094159 实例分割是一种在像素层面识别目标轮廓的任务， 分类：这张图像中有一个气球 语义分割：这些全是气球像素 目...
图像分割mask制作
07-27
图像分割是将图像中的不同物体或区域分离出来的过程，而图像分割的结果常常使用mask来表示。制作图像分割的mask可以通过以下步骤进行： 1. 数据准备：首先，您需要准备一组带有标注的图像数据集。这些标注可以是手动绘制的或者通过自动化算法生成的。 2. 标注工具：选择适合您的需求的标注工具，例如LabelImg、Labelbox等。这些工具可以帮助您快速而准确地标注图像中的目标物体或区域。 3. 标注图像：使用标注工具，对图像中的目标物体或区域进行标注。您可以使用矩形框、多边形或者像素级别的标注，具体取决于您的需求和数据集。 4. 导出mask：完成标注后，您可以导出每个图像对应的mask。这些mask通常是二值图像，其中目标物体或区域被标记为白色（前景），其他部分为黑色（背景）。 5. 后处理（可选）：根据需要，您可以对导出的mask进行后处理，例如去除噪声、填充空洞等操作，以获得更精确的图像分割结果。 通过以上步骤，您可以制作出用于图像分割的mask。这些mask可以用于训练深度学习模型、评估算法性能或者进行其他相关任务。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值