Mask R-CNN 论文笔记

最新推荐文章于 2025-05-26 17:07:00 发布
最新推荐文章于 2025-05-26 17:07:00 发布
阅读量1.3k 收藏 6
点赞数
CC 4.0 BY-SA版权
分类专栏： Object Detection 文章标签： Mask R-CNN ROI Align
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/JerryZhang__/article/details/88385290
本文详细介绍了Mask R-CNN的工作原理，包括ROI Align操作如何改进坐标精度，以及如何通过全卷积分支实现物体分割。Mask R-CNN在Faster R-CNN基础上增加了一个分支，用于预测物体的掩模，使用多任务损失函数结合类别、坐标和掩模损失进行训练。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

Mask R-CNN

arXiv : https://arxiv.org/pdf/1703.06870.pdf
github： https://github.com/matterport/Mask_RCNN
conf & anthor: ICCV17,Kaiming He et. al
intro: ROI Align, FCN

主要内容：
Mask R-CNN通过在Faster R-CNN的基础上，在RPN网络得到RoI之后，增加一个分支FCN网络，实现对BBox中的物体进行实体分割。
在这里插入图片描述

基本思路：
Faster R-CNN中通过RPN可以得到一些RoI，这些区域通过RoI pooling之后，再经过全连接网络计算目标的类别和坐标。在Mask R-CNN中，在RoI的基础上，新增一个全卷积分支网络，以实现目标的分割任务。
(1) ROI Align: Fast R-CNN中使用的ROI pooling操作，首先要确定region在最后的feature map上的位置，这一步需要将像素坐标转换到feature map坐标上，比如 x / 16 x/16 x/16然后取整；然后需要将feature map上的区域划分为 n ∗ n n*n n∗n（如 7 ∗ 7 7*7 7∗7）的格子，做pooling操作；这两步操作需要进行quantization（量化），会造成坐标精度的损失。因此，Mask R-CNN中提出了RoIAlign操作，避免了由于量化操作带来的坐标精度的损失。具体的做法如下图：在将像素坐标转换到feature map坐标这一步上，不进行取整，得到的是带小数位的feature map上的坐标，然后将该AlignBox划分为n*n的格子，每个格子中均匀采样四个点，每个点的值通过在feature map上进行双线性插值得到。最后在每个格子中通过平均或者最大池化得到输出。 在TensorFlow中，RoIAlign可以通过tf.image.crop_and_resize() 函数简化实现，简化的方面是将格子中心的插值结果最为输出，而不是取四个点再做池化。
在这里插入图片描述
在这里插入图片描述

(2) 分支网络:Mask R-CNN中在ROIAlign之后增加了一条全卷积的分支网络，用于Mask的预测。文章中对以ResNet和FPN为主干网络分别设计了两种分支结构。以ResNet为例，如下图，经过deconv扩大feature map的尺寸，最后输出的mask的尺寸为 14 ∗ 14 ∗ 80 14*14*80 14∗14∗80，通道数目为80是为每一个类别预测了一个mask（coco数据集的类别数目为80）。
在这里插入图片描述
(3) 损失函数: Mask R-CNN中使用了类别+坐标+mask的多任务损失函数

最低0.47元/天 解锁文章

200万优质内容无限畅学
Mask-RCNN论文阅读笔记
JoliceYu的技术博客
11-30 1886
一、摘要mask-rcnn本质上在fasterrcnn的基础上加了一个预测每个二值掩膜mask的分支，相当于在之前fasterrcnn的基础上，fasterrcnn将目标框出，maskrcnn在目标框内对目标做一个实例分割。整理思路如下： 在faster的基础上预测出了每个目标框，maskrcnn在框内对每个像素再进行预测，预测每个像素是否属于这个框所属的类别。eg：上图上，最大的那个框
MASK RCNN论文笔记
会飞的猪的博客
09-19 544
Mask R-CNN 0.摘要 本文提出了一个简单、灵活且通用的框架mask rcnn。本框架能够在检测目标的同时为每个目标预测一个mask，相比faster rcnn，只是增加了一个分支而已，且只增加了很少的资源耗费，达到了5fps。同时，本框架也可以容易地泛化达到其他任务，比如说人体关键点检测。在不限时的前提下，本框架在检测、实例分割和人体关键点检测任务上的表现超过了现存的所有单模...
算法之Mask R-CNN 详解
最新发布
分享技术应用、实践场景等，评论区开放技术难题讨论，共同成长进步。
05-26 1053
Mask R-CNN 作为计算机视觉领域的重要算法，在多个领域都有着广泛的应用前景。无论是新手还是成手，都可以通过深入学习和实践，不断挖掘其潜力，为解决实际问题提供有力的支持。
【Mask RCNN】Mask RCNN论文笔记
OneCoder的博客
08-22 1088
Mask RCNN是大神Kaiming He的一大神作。 1、概述 Mask RCNN主要是再Faster RCNN上进行了一些调整（将RoIpooling层替换为了RoIAlign层），并且在RoIAlign后增加了一个进行instance segmentation的分支。 图片来源 上图展示了一个Mask RCNN的网络结构，用RoIAlign来代替RoIpooling部分，并且在分...
《Mask R-CNN》论文笔记
m_buddy的博客
01-27 645
1. 概述 论文提出了一个概念简单且灵活通用的实例分割框架Mask R-CNN。该方法可以有效检测出图像中的目标并同时对每个实例生成高质量分割mask。该方法是在Faster R-CNN的结构基础上，添加与现存边界框回归、目标分类分支平行的预测目标mask的分支（在ROI的基础上进行预测），速度为5FPS（200ms/per），论文提出的网络方法可以迁移到其它的任务中去，例如实例分割、目标检测和关...
mask rcnn 论文阅读笔记
头狼博客
01-10 3081
Mask RCNN阅读笔记 目录 Mask RCNN阅读笔记 目录 一. 文章主题介绍： 二. 文章核心设计： 2.1 mask分支损失函数的计算 2.2 ROIAlign的一些改进 1.该技术要解决的问题描述： 2.具体的实现： 2.3 两种基础网络 三. 打磨实验： 3.1 实验参数的配置： 3.2 主要的一些对比实验 四. 收获/总结/启发： 补充说明 引用 ...
Mask R-CNN 论文学习笔记
weixin_43179892的博客
09-16 327
论文基本信息 标题：Mask R-CNN 作者：Kaiming He Georgia Gkioxari Piotr Dollár Ross Girshick 机构：Facebook AI Research (FAIR) 来源：ICCV 时间：2017 论文地址：https://arxiv.org/abs/1703.06870 代码地址:https://github.com/facebookresearch/Detectron 论文概要 解决问题 本文在Faster RCNN上进行了改进，提出了Mask
【目标检测经典模型比较】--Fast R-CNN Faster R-CNN Mask R-CNN
weixin_62371528的博客
02-06 1734
【目标检测经典模型比较】二阶段--Fast R-CNN Faster R-CNN Mask R-CNN三者比较与进步，包括各自优缺点。目标检测入门二阶段检测算法。
目标检测论文阅读 Mask R-CNN
qq_45738761的博客
04-27 968
然后把p5上采样，得到256*50*76，这个p5上采样结果加上res4的1*1卷积结果，得到256*50*76，再来个3*3卷积得到p4。如此一来，FPN的输出即为：[p2: 256*200*304, p3: 256*100*152, p4: 256*50*76, p5: 256*25*38, p6: 256*13*19]。这两个都是用在rpn之后的。图像中存在不同大小的目标，而不同的目标具有不同的特征，所以我们需要特征金字塔来利用浅层的特征将简单的目标区分开，利用深层的特征将复杂的目标区分开。
MaskRCNN论文阅读笔记
qq_40962619的博客
03-28 732
Abstract We present a conceptually simple, flexible, and general framework for object instance segmentation. Our approach efficiently detects objects in an image while simultaneously generating a high...
mask_rcnn.pdf
03-17
mask_rcnn代码逻辑深度解读,简单明了,看了这个导图再去看代码，代码编写思路简直不要太清晰 学习mask_rcnn配合链接https://blog.youkuaiyun.com/ZzH7HN/article/details/104932534
Mask_RCNN-2.1.zip
02-06
Mask_RCNN的2.1版 来源GitHub Mask R-CNN Train on the toy Balloon dataset and implement color splash effect. Copyright (c) 2018 Matterport, Inc. Licensed under the MIT License (see LICENSE for details) Written by Waleed Abdulla
Mask R-cnn_v2.pdf
01-17
Mask R-cnn paper, it can be use to implement for mask R-cnn
mask r-cnn
09-21
Mask RCNN 是基于Kaiming 之前的工作 FPN (Feature Pyramid Network) 很形象地说就是用FPN产生的检测结果, 后面加了一个分割的网络. 文章中用到了 Top-Down + Bottom-Up 最近很流行的多层网络, 因为最开始Faster-RCNN只是在最后一层上面检测, 很容易丢掉小目标物体, 并且对细节遮挡也很不敏感. 最近的趋势就是结合多层 特征, 答主孔涛就很早发现了这个insight, 做出了HyperNet 并中了CVPR roal!!!作者：Oh233 链接：https://www.zhihu.com/question/57403701/answer/153060743 来源：知乎 著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。 Mask R-CNN 这个结果确实很强，但要同时注意它主要是加上了许多（都是很有用的）engineering techniques 。 比如说 anchor 从 12 增加到了15个，图像 size 从600变成了800，还有ROI batch size变到了512，从FPN那篇paper来看，这些 better practice 会有对性能十分明显的提升 (table 3 baseline: AP=26.3 -> 31.6)。而我们组16年的coco分割竞赛冠军 ，Fully Convolutional Instance-aware Semantic Segmentation (FCIS)的代码昨晚终于开源了。限于计算资源，我们并没有加上这些改进。这些改进应该是比较 general 的，也会适用于 FCIS。欢迎大家试用一波。FCIS 提供了一种简单高效的框架去解决 instance segmentation 的问题。跟之前 COCO 2015 的冠军 MNC 相比，它的主要不同在于 mask estimation 和 detection 是共同做的，而不是先估计 mask 再做 detection。在 FCIS 中 detection/mask estimation 之间通过 inside/outside score map 互相影响，利用了这两个紧密相连 task 之间的共性。现在 release 版本基于支持多卡训练的MXNet，msracver/FCIS。实际上大概今年一月份我们就已经写出了外面可以使用的Caffe版本，但是当时官方 Caffe 只支持单卡做复杂任务的训练，对于COCO这种大规模数据集来说用单卡训练的话一下子几周的时间就过去了。考虑到大家用起来会非常蛋疼，最后还是决定没有release这个版本。
【论文】Mask R-CNN
yeler082的博客
04-17 3405
论文地址：Mask R-CNN论文源码：R-CNNCaffe版本：rbgirshick/rcnnFast R-CNNCaffe版本： rbgirshick/fast-rcnn Faster R-CNNCaffe版本: https://github.com/rbgirshick/py-faster-rcnn PyTorch版本: https://github.com/longcw/faster_rc...
论文笔记：Mask R-CNN
upup
08-19 1167
一、基本信息 标题：Mask R-CNN 时间：2018 引用格式：Mask R-CNN He, Kaiming, et al. “Mask r-cnn.” Proceedings of the IEEE international conference 二、研究背景 Faster R-CNN最终得到是bbox和类别，而且对小物体检测不太准确，所以本文提出一种除了可以检测box和类别外，还可以检测mask的网络。就是Mask R-CNN。 三、创新点 主要在2点： 应用了FPN，对小物体检测更准 添加了上
文献精读——（第二十篇）Mask R-CNN
weixin_37799689的博客
06-01 439
一、文献核心 Mask RCNN是Faster RCNN的扩展，对于Faster RCNN的每个Proposal Box都要使用FCN进行语义分割，分割任务与定位、分类任务是同时进行的。 引入了RoI Align代替Faster RCNN中的RoI Pooling。因为RoI Pooling并不是按照像素一一对齐的（pixel-to-pixel alignment），也许这对bbox的影响不是很大，但对于mask的精度却有很大影响。使用RoI Align后mask的精度从10%显著提高到50%，第3节将
Mask R-CNN论文
03-23
### 关于 Mask R-CNN 的论文下载 Mask R-CNN 是一种在目标检测领域具有重要影响力的模型，其核心思想是在 Faster R-CNN 的基础上增加了用于预测实例分割掩码的分支[^3]。该方法通过引入全卷积网络（FCN），针对每个感兴趣区域（Region of Interest, RoI）生成 \(m \times m\) 的二值掩码[^4]。 通常情况下，获取学术论文可以通过以下几种方式： 1. **官方出版平台** Mask R-CNN 的原始论文发表在 IEEE 的会议 ICCV 2017 上。可以访问 IEEE Xplore 或 ArXiv 网站直接搜索论文标题 “Mask R-CNN”。IEEE 提供高质量的 PDF 文件，但可能需要注册账户或支付费用。 2. **ArXiv 平台** 很多计算机视觉领域的研究者会选择将预印本上传到 ArXiv。可以在 ArXiv 中输入关键词 “Mask R-CNN” 进行检索。例如，可以直接访问链接：[https://arxiv.org/abs/1703.06870](https://arxiv.org/abs/1703.06870)，这是 Mask R-CNN 论文的一个公开版本。 3. **Google Scholar** 使用 Google Scholar 搜索引擎可以帮助找到更多可用资源。输入论文名称或者作者名 Kaiming He 可能会返回多个来源，包括免费和付费选项。 4. **科研社区分享网站** 如果无法通过上述渠道获得全文，还可以尝试一些科学文献共享平台，比如 ResearchGate 或 Academia.edu。这些平台上可能存在其他研究人员上传的合法副本。 以下是实现 Mask R-CNN 的一段简化代码框架示例： ```python import torch.nn as nn class MaskRCNN(nn.Module): def __init__(self, backbone, rpn, roi_heads, mask_head): super(MaskRCNN, self).__init__() self.backbone = backbone self.rpn = rpn self.roi_heads = roi_heads self.mask_head = mask_head def forward(self, images, targets=None): features = self.backbone(images.tensors) proposals, proposal_losses = self.rpn(images, features, targets) detections, detector_losses = self.roi_heads(features, proposals, images.image_sizes, targets) if self.training: losses = {} losses.update(detector_losses) losses.update(proposal_losses) return losses masks = self.mask_head(detections['boxes'], features) detections['masks'] = masks return detections ``` #### 注意事项 - 在使用第三方博客或其他非正式资料时，请注意版权问题并确认信息准确性[^1]。 - 对于 ECCV 和 ICCV 等顶级会议中的最新研究成果，也可以关注相关解读文章了解背景知识[^2]。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值