【Mask RCNN】论文学习笔记

已于 2022-05-26 13:21:48 修改
阅读量518 收藏 4
点赞数
文章标签： 学习 目标检测 深度学习
于 2022-05-24 23:27:09 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_41502322/article/details/124954962
版权

文章目录

【Mask RCNN】论文学习笔记

本文记录的是本人学习何凯明大神的2017 ICCV Best Paper 【Mask R-CNN】的笔记。

1 Mask RCNN Architecture

简而言之，Mask R-CNN就是在Faster R-CNN的基础上，增加了一个mask prediction的branch。
请添加图片描述
请添加图片描述

总结
Backbone: 1.卷积层：Resnet+FPN（Feature Pyramid Network）2. RPN层 3. ROIAlign层
Network Head: 4.类别边框预测层 5. mask预测层

2 RPN网络（Region Proposal Network）

请添加图片描述
RPN网络主要输出项：

  1. ROI：对应在特征层每个特征点产生4k个变量，其中4表示[dy, dx, dh, dw]四个边框平移缩放量。其中k表示4个边框，k=4。
  2. scores：对应在特征层每个特征点产生2k个变量，其中2表示前景和北京概率。其中k表示3个边框，k=3。

3 ROI Align

FCN中使用的ROI Level校准：
k = [ k 0 + log ⁡ 2 ( w h 224 ) ] k=[k_0+\log_2{(\frac{\sqrt{wh}}{224})}] k=[k0​+log2​(224wh ​​)]
Mask-RCNN中使用的ROI Level校准：
k = [ k 0 + log ⁡ 2 ( w h 224 / i m a g e    a r e a ) ] k=[k_0+\log_2{(\frac{\sqrt{wh}}{224/\sqrt{image\; area}})}] k=[k0​+log2​(224/imagearea ​wh ​​)]

解释：

  1. 由于Mask R-CNN训练数据的box和anchor都做了调整，所以ROI Level的计算部分也需要 224 / i m a g e    a r e a 224/\sqrt{image\; area} 224/imagearea ​。其中，224应为输入图像尺寸的一半。
  2. 计算得到的k即为ROI对应的level，level一共4个：
    1. l e v e l = 2 level=2 level=2表示映射回特征 P 2 P_2 P2​，大小为原输入图像的 1 / 4 1/4 1/4。
    2. l e v e l = 3 level=3 level=3表示映射回特征 P 3 P_3 P3​，大小为原输入图像的 1 / 8 1/8 1/8。
    3. l e v e l = 4 level=4 level=4表示映射回特征 P 4 P_4 P4​，大小为原输入图像的 1 / 16 1/16 1/16。
    4. l e v e l = 5 level=5 level=5表示映射回特征 P 5 P_5 P5​，大小为原输入图像的 1 / 32 1/32 1/32。

在这里插入图片描述

虚线网格表示特征图，实线表示RoI(在本例中为2×2个bin)，点表示每个容器中的4个采样点。RoIAlign通过双线性插值从特征图上附近的网格点(最近的4个)计算每个采样点的值。在ROI、4个bin或采样点中涉及的任何坐标上都不进行量化。

4 Class/Bounding Box预测和Mask预测

请添加图片描述

5 Loss Function的计算

请添加图片描述

参考

薛定谔的AI 《mask-rcnn》解读、训练、复现
arxiv: Mask R-CNN
PaperWithCode: Mask R-CNN

HelloNettt
关注
《Mask RCNN》论文阅读笔记
prague6695的博客
04-17 453
系列文章目录 提示：这里可以添加系列文章的所有文章的目录，目录需要自己手动添加 例如：第一章 Python 机器学习入门之pandas的使用 提示：写完文章后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录系列文章目录前言一、pandas是什么？二、使用步骤1.引入库2.读入数据总结参考 前言 提示：这里可以添加本文要记录的大概内容： 例如：随着人工智能的不断发展，机器学习这门技术也越来越重要，很多人都开启了学习机器学习，本文就介绍了机器学习的基础内容。 提示：以下是本篇文章正文内容，下面
《Mask R-CNN》论文笔记
m_buddy的博客
01-27 629
1. 概述 论文提出了一个概念简单且灵活通用的实例分割框架Mask R-CNN。该方法可以有效检测出图像中的目标并同时对每个实例生成高质量分割mask。该方法是在Faster R-CNN的结构基础上，添加与现存边界框回归、目标分类分支平行的预测目标mask的分支（在ROI的基础上进行预测），速度为5FPS（200ms/per），论文提出的网络方法可以迁移到其它的任务中去，例如实例分割、目标检测和关...
Mask RCNN学习笔记
qq_34564612的博客
03-06 1787
原文地址：Mask RCNN 源码：matterport - github（基于Python 3、Keras和TensorFlow） 源码解析：TensorFlow实战：Chapter-8上(Mask R-CNN介绍与实现) Mask RCNN论文简介 Mask R-CNN是基于R-CNN系列、FPN、FCIS等工作之上的，Mask R-CNN的思路很简洁：Faster R-CNN针...
Mask R-CNN 学习笔记
蘑菇菌的博客
04-22 954
Mask R-CNN是一个实例分割（Instance segmentation）算法。实例分割（Instance segmentation）和图像分类、目标检测、语义分割（Semantic segmentation）的区别与联系如下： 算法的框架： 由上图可以额看到： MaskR-CNN的网络结构是FasterR-CNN的扩展。 MaskR-CNN在有效检测目标的同时输出高质量的实...
Mask R-CNN学习笔记
默语之声的博客
03-28 272
推荐：机器之心，gluon，mxnet（b站）
MASK RCNN论文笔记
会飞的猪的博客
09-19 532
Mask R-CNN 0.摘要 本文提出了一个简单、灵活且通用的框架mask rcnn。本框架能够在检测目标的同时为每个目标预测一个mask，相比faster rcnn，只是增加了一个分支而已，且只增加了很少的资源耗费，达到了5fps。同时，本框架也可以容易地泛化达到其他任务，比如说人体关键点检测。在不限时的前提下，本框架在检测、实例分割和人体关键点检测任务上的表现超过了现存的所有单模...
Mask-rcnn论文阅读笔记
yfy1127yfy的博客
02-24 392
编辑于2019/02/24，转载请注明。 论文地址：https://arxiv.org/abs/1703.06870 一、介绍 Mask-rcnn是在Faster-rcnn上扩展出来的，通过在分类和框回归处，添加一条并行的mask分支，实现了实例分割。除此之外，Mask-rcnn略作修改，还可以用来做人体姿态估计。 二、改进点 这篇论文主要讲的是提取特征之后的一些改进点，在后面的实验中，...
mask rcnn算法原理图_Mask RCNN 学习笔记
weixin_40006965的博客
12-29 467
涉及到的知识点补充：首先，先看两张图(第一张图来源于论文，第二张图来源于网络)，如下：(图1)(图2)图1：可以看出MaskRCNN在有效检测目标的同时输出高质量的实例分割mask图2：可以看出MaskRCNN的网络结构，作为FasterRCNN的扩展1)：用RolAlign代替了RoIPooling，RoIPooling使用取整量化，导致特征图RoI映射回原图RoI时空间不对齐明显，造成误差；R...
MaskRCNN论文阅读笔记
qq_40962619的博客
03-28 724
Abstract We present a conceptually simple, flexible, and general framework for object instance segmentation. Our approach efficiently detects objects in an image while simultaneously generating a high...
一文读懂Mask-RCNN笔记（全）
11-20
Mask-RCNN提出了一个实例分割的框架，可以在有效地检测图像中目标的同时为每一个实例产生一个高质量分割Mask。 Mask-RCNN扩展了Faster R-CNN，通过在之前已存在的边界框回归分支上添加新的一个预测目标Mask的分支。
mask-rcnn 学习笔记（图像预处理--图像增强）
代码之路勤为径，算法无涯苦作舟
10-23 5492
  论文：http://cn.arxiv.org/pdf/1703.06870v3   介绍时所采用的Mask-RCNN源码（python版本）来源于GitHub：https://github.com/matterport/Mask_RCNN 1.图像增强概念   上一篇博客讲述了如何进行图像缩放，本篇主要讲解常用的一些数据增强的方法及适用场景。   深度学习是基于大数据的一种方法，数据规模越大，...
Mask R-CNN论文笔记
qq_52038588的博客
10-29 794
mask rcnn论文笔记，roiAlign，mask分支，双线性插值
Mask rcnn 源码学习笔记
lyx0708的专栏
12-20 698
一、概述 注：本文章只作为自己在阅读mask rcnn时的笔记存档。 目录 一、概述 二、模块结构 三、代码解析 模型输入变量构建 图片特征提取（Resnet） 特征融合 产生锚点 三·、代码精读 ResNet构建： 融合Feature map 构建RPN网络 Generate proposals（ProposalLayer） DetectionTargetLayer...
Mask R-CNN论文阅读笔记
Maybemust的博客
11-01 774
最近看了很多R-CNN系列卷积网络，看得有点迷，以至于今天天在看Mask R-CNN的时候一时没分清有什么区别，看了何大神的ppt才算有点明白。 这是第一个，最基本的R-CNN。就像之前一篇文章说的，因为先提取proposals再进行卷积提取特征，所以就会造成一些区域出现重复计算的情况。而且bounding-box回归和分类判断分开，也让模型变得很慢。 然后就有了第一个进化版： 从这里开始，就...
MaskRCNN学习笔记
Loong Cheng的博客
05-30 666
转载于：https://blog.youkuaiyun.com/u012328476/article/details/78711840 摘要 作用：物体检测+产生一个切割mask 和FasterR−CNNFasterR−CNN区别：能生成一个检测框 它是two-stage 1. 简介 1.1 基础扫盲 物体检测：Fast/Faster R−CNNFast/Faster R−CNN 通常包含...
Mask-RCNN论文阅读笔记
JoliceYu的技术博客
11-30 1868
一、摘要mask-rcnn本质上在fasterrcnn的基础上加了一个预测每个二值掩膜mask的分支，相当于在之前fasterrcnn的基础上，fasterrcnn将目标框出，maskrcnn在目标框内对目标做一个实例分割。整理思路如下： 在faster的基础上预测出了每个目标框，maskrcnn在框内对每个像素再进行预测，预测每个像素是否属于这个框所属的类别。eg：上图上，最大的那个框
Mask R-CNN 简介与论文笔记
小小顺利的博客
02-15 2901
本篇文章是面向Mask R-CNN的初学者，旨在梳理大体思路，认识框架基础概念。由于自己现在大四，也是刚刚入足深度学习领域，所以文章中免不了有错误之处，欢迎各位博友批评指正。 本博文所参考的论文和代码分别为： ★何恺明大神的：Mask R-CNN  ★综述文章：Deep Learning for Generic Object Detection: A Survey ★非配套代码：Mask...
Maskrcnn实现笔记---数据处理篇
Tepmoe的博客
11-03 1263
Maskrcnn实现笔记—数据处理篇 maskrcnn笔记。 目录Maskrcnn实现笔记---数据处理篇前言一、labelme标定二、对data进一步处理1.数据增强2.json_to_dataset三、实际训练 前言 在深度学习中，数据集一般是指用作网络训练的数据集合。数据集包含输入和真实输出(ground truth)两部分，视觉类深度学习中输入为图片，输出为分类结果、预测框及分割结果等。 数据集一般会分为训练集(train dataset)、验证集(valid dataset)和测试集(test
mask rcnn论文
最新发布
03-13
### 关于 Mask R-CNN 的学术论文 Mask R-CNN 是一种用于实例分割的任务框架，在计算机视觉领域具有重要影响。该模型由何恺明等人提出，基于 Faster R-CNN 进行改进，增加了分支来预测目标的像素级掩码[^1]。 #### 论文介绍 - **原始论文** 题目为《Mask R-CNN》，发表于 ICCV 2017 年会议。这篇论文介绍了如何通过引入额外的分支来进行逐像素分类，从而实现精确的目标检测和分割任务。此方法不仅保持了高精度的位置定位能力，还能够高效处理多类别对象的同时存在情况。 ```python import torch.nn as nn class MaskRCNN(nn.Module): def __init__(self, backbone, rpn, roi_heads, mask_head): super(MaskRCNN, self).__init__() self.backbone = backbone self.rpn = rpn self.roi_heads = roi_heads self.mask_head = mask_head def forward(self, images, targets=None): features = self.backbone(images.tensors) proposals, proposal_losses = self.rpn(images, features, targets) detections, detector_losses = self.roi_heads(features, proposals, targets) if self.training: losses = {} losses.update(detector_losses) losses.update(proposal_losses) return losses masks = self.mask_head(detections['boxes'], features) detections['masks'] = masks return detections ``` - **后续发展** 自 Mask R-CNN 发布以来，许多研究者在此基础上进行了扩展与优化工作。例如，《Contextual Priming and Feedback for Faster R-CNN》探讨了上下文引导机制对于提升区域提议网络性能的影响；而另一篇有关激光雷达三维物体探测器的研究则展示了深度主动学习策略可以有效提高训练效率[^2]。 #### 学术资源链接 为了更深入理解 Mask R-CNN 及其变体的发展历程和技术细节，建议查阅以下资料： - 原始论文：<https://arxiv.org/abs/1703.06870> - GitHub 实现项目：<https://github.com/facebookresearch/Detectron>
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值