Mask RCNN 论文阅读

最新推荐文章于 2025-06-19 11:58:27 发布
原创 最新推荐文章于 2025-06-19 11:58:27 发布 · 8.6k 阅读 · 5 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#maskrcnn

本文详细介绍了Mask R-CNN的工作原理及其相对于Faster R-CNN的改进之处。Mask R-CNN不仅能够检测图像中的对象，还能精准地分割出每个对象的轮廓。文中还探讨了Mask R-CNN的损失函数定义、RoIAlign层的设计目的以及最佳网络结构。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

mask rcnn 是对Faster R-CNN的功能上的提升，速度上仍然在200ms（5fps）。

f1

Faster R-CNN回顾

Faster R-CNN由两个阶段组成。 第一阶段为RPN网络，提出候选对象bounding boxes。第二阶段，本质上是Fast R-CNN，从每个候选框中提取使用RoIPool的特征，并执行分类和边界框回归。

Mask R-CNN特点

Mask R-CNN在概念上很简单，与Faster R-CNN前相同只是又多加了一个输出：Faster R-CNN每个候选对象有两个输出，类标签（label）和边框偏移（bounding-box offset）; 为提高精度，又添加了输出对象mask（二进制掩码）的第三个分支。但附加的Mask输出与类和框输出不同，需要提取对象的更精细的空间布局。同时，分类也取决于掩模预测。

损失上，在训练期间，将每个抽样RoI的多任务丢失定义为L=Lcls+Lbox+Lmask。 分类损失Lcls和bounding-box损失Lbox与Fast R-CNN中定义的相同。mask分支对于每个RoI具有Km2维输出，即K个分辨率m×m的二进制掩模编码，每个对应K中某个类别。 为此，对每个每像素使用sigmoid，并将Lmask定义为平均二进制交叉熵损失（the average binary cross-entropy loss）。对于与ground-truth类k相关联的RoI，Lmask仅在第k个掩码上定义（其他掩码输出不会造成损失）。

与FCN

我们对Lmask的定义允许网络为每个类生成掩码，而不会在类之间有竞争；我们依靠专用分类分支预测用于选择输出掩码的类标签。这将隔离mask和类预测输出。 这与将FCN应用于通常使用每像素softmax和多项交叉熵损失的语义分割的常见做法不同。 在这种情况下，类上的mask存在竞争；在我们这种情况下，使用每像素的sigmoid和二进制损失，不会存在mask间的竞争。 通过实验显示，这种方案是良好的实例分割结果的关键。

Mask的表示

一个mask对输入对象的空间布局进行编码，如图1。 因此，无需像全链接一样reshape，可以通过卷基层进行运算输出。具体来说，我们使用FCN预测每个RoI的m×m掩码。 这允许掩模分支中的每个层保持显式的m×m对象空间布局，而不会将其折叠成缺少空间维度的向量（fc）表示。完全卷积表示需要更少的参数，并且如实验所证明的更准确。 这种像素到像素的行为需要我们的RoI特征，它们本身是小的特征图，以便良好地对齐以保留显式的每像素空间对应（应该是得到的mask与物体的像素对其）。 这促使我们开发出在掩模预测中发挥关键作用的以下RoIAlign层。

RoIAlign

RoIAlign层是对RoIPool的改进，用于可以消除RoIPool的严格量化。其实提出的改变很简单：为了避免了RoI边界或块的任何量化（即我们使用x / 16而不是[x / 16]）。我们使用双线性插值来计算每个RoI中四个定期采样位置的输入特征的精确值，并将结果聚合（使用最大值或平均值）。如展示的那样，RoIAlign带来了很大的改进。
其实这一部分就是对feature map的插值计算。

网络结构

效果最好的结构是ResNeXt + FPN。这两部分也有其各自的作用：

  1. 用于整个图像上的特征提取的卷积网络结构
  2. 分别应用于每个RoI的边界盒识别（分类和回归）和掩模预测的网络头。

是下图右边的结构：
Head Architecture

总结

这是把图像分割运用到了检测里来，算是检测功能的进一步增强。之前我就觉得这两者之间其实还是比较类似的，更进一步从检测做到分割也是理所当然。
其实最大的创新应该是分割中使用了非竞争的sigmoid代替了softmax，但具体各部分哪一点是最关键的，最提升性能的，只凭想也不能确认。以上是初步的阅读，可能有一些错误，希望与大家多交流。

S. Xie, R. Girshick, P. Doll´ar, Z. Tu, and K. He. Aggregated residual transformations for deep neural networks. arXiv:1611.05431, 2016.
T.-Y. Lin, P. Doll´ar, R. Girshick, K. He, B. Hariharan, and S. Belongie. Feature pyramid networks for object detection. arXiv:1612.03144, 2016.

论文：Mask R-CNN
cztAI的博客
07-03 1121
论文：https://arxiv.org/abs/1703.06870 代码：原配、pytorch 1、pytorch 2 更多 目标检测 Faster R-CNN Faster R-CNN 包括两个阶段： 第一阶段：称为区域提议网络(RPN)，提出候选目标边界框。 第二阶段：本质上是Fast R-CNN，使用 RoIPool 从每个候选框中提取特征，并进行分类和边界框回归。 这两个阶段使用的特征可以共享，以更快地进行推断。 架构 Mask R-CNN 在概念上很简单：Faster R-CNN对每个
Mask RCNN论文阅读
qeqjkqjklq的博客
10-08 466
RCNN的一个大缺点：由于每一个候选框都要独自经过CNN，这使得花费的时间非常多。 解决：共享卷积层，现在不是每一个候选框都当做输入进入CNN了，而是输入一张完整的图片，在第五个卷积层再得到每个候选框的特征 引入了单层SSP Net的网络层，叫做ROI Pooling，这个网络层可以把不同大小的输入映射到一个固定尺度的特征向量， 而我们知道，conv、pooling、relu等操作都不需要固定size的输入，因此，在原始图片上执行这些操作后， 虽然输入图片size不同导致得到的feature ma...
mask R-CNN论文
03-26
神经网络；CNN；R-CNN
Mask R-CNN论文
weixin_43066351的博客
08-04 6432
目录摘要引言 摘要 我们为对象实例分割提供了一个概念上简单，灵活且通用的框架。我们的方法有效地检测了图像中的对象，同时为每个实例生成高质量的分割蒙版。该方法称为“Mask R-CNN”，通过与现有的用于边界框识别的分支并行添加一个用于预测对象遮罩的分支，扩展了Faster R-CNN。 Mask R-CNN易于训练并且只在Faster R-CNN添加了很小的开销，并以 5 fpts 的速度运行。此外， Mask R-CNN容易推广到其他其他任务，例如，允许我们在同一框架中估计人体姿态。我们在COCO挑战套件
Mask R-CNN 模型详解
最新发布
zuoanhuahai的博客
06-19 300
Mask R-CNN(Mask Region-based Convolutional Neural Network) 是 Facebook AI Research（FAIR）在2017年提出的一种实例分割（Instance Segmentation ）模型，它是在Faster R-CNN的基础上扩展而来，不仅能检测目标的位置（Bounding Box）和类别（Class），还能精确地预测每个目标的像素级掩码（Mask）。输出一个k*m*m的矩阵（k是类别数，m是掩码分辨率，通常是28*28）
【Mask RCNN】论文详解(真的很详细)
热门推荐
咖啡味儿的咖啡
10-18 20万+
论文：http://cn.arxiv.org/pdf/1703.06870v3 本文主要是针对论文的详细解析，选出文章各部分的关键点，方便阅读立即。 目录： 摘要： 1、Introduction 2、Related Work 3、Mask R-CNN 3.1 Implementation Details 4、Experiments: Instance Segmentation 4...
Mask R-CNN论文精读
weixin_51697828的博客
06-12 2788
我们提出了一个简单、灵活、通用的实例分割框架，称为Mask R-CNN。我们的方法能够有效检测图像中的目标，同时为每个实例生成高质量的分割掩码。Mask R-CNN通过添加一个预测对象掩码的分支，与现有的边框识别分支并行，扩展了之前的Faster R-CNN。Mask R-CNN的训练很简单，只为Faster R-CNN增加了一小部分开销，运行速度为5帧/秒。此外，Mask R-CNN很容易泛化到其他任务，如人体姿态估计。我们展示了Mask R-CNN在COCO挑战赛的实例分割、目标检测和人物关键点检测任务
《Mask RCNN》论文阅读笔记
prague6695的博客
04-17 463
系列文章目录 提示：这里可以添加系列文章的所有文章的目录，目录需要自己手动添加 例如：第一章 Python 机器学习入门之pandas的使用 提示：写完文章后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录系列文章目录前言一、pandas是什么？二、使用步骤1.引入库2.读入数据总结参考 前言 提示：这里可以添加本文要记录的大概内容： 例如：随着人工智能的不断发展，机器学习这门技术也越来越重要，很多人都开启了学习机器学习，本文就介绍了机器学习的基础内容。 提示：以下是本篇文章正文内容，下面
mask rcnn详细结构图
08-04
论文： Learning to segment to every thing 模型结构图
MaskRCNN论文阅读笔记
qq_40962619的博客
03-28 732
Abstract We present a conceptually simple, flexible, and general framework for object instance segmentation. Our approach efficiently detects objects in an image while simultaneously generating a high...
一文读懂Mask-RCNN笔记（全）
11-20
Mask-RCNN提出了一个实例分割的框架，可以在有效地检测图像中目标的同时为每一个实例产生一个高质量分割Mask。 Mask-RCNN扩展了Faster R-CNN，通过在之前已存在的边界框回归分支上添加新的一个预测目标Mask的分支。
mask rcnn算法分析_RCNN系列文章之Mask RCNN详解
weixin_39631953的博客
11-19 450
RCNN系列的文章主要是RCNN，Fast RCNN， Faster RCNN， Mask RCNN, Cascade RCNN,这一系列的文章是目标检测two-stage算法的代表，这系列的算法精度高，效果好，是一类重要的方法。论文地址：Mask R-CNN简要介绍Mask RCNN并不是一个目标检测的算法，而是一个语义分割的算法，但是作为一个RCNN系列的又一个神一般的扩展，必须要读一下，这可...
【论文精读】Mask R-CNN
weixin_44934783的博客
03-05 1654
Mask R-CNN
论文笔记：Mask R-CNN
欢迎来到我的酒馆
04-14 4829
Kaiming He 新作，貌似投iccv？ 论文地址： https://arxiv.org/abs/1703.06870目标设计一个很棒的实例分割网络 Our goal in this work is to develop a comparably enabling framework for instance segmentation. 实例分割难点不仅仅要找出物体，还要语义分割 It
论文精读：Mask R-CNN
qq_52053775的博客
07-15 2835
我们提出了一个概念上简单、灵活和通用的对象实例分割框架。
Mask R-CNN论文综述
qq_42575422的博客
04-22 2435
Mask R-CNN论文综述 摘要：提出了一个简单、灵活、通用的目标实例分割框架Mask R-CNN。这个框架可同时做目标检测、实例分割。实例分割的实现就是在faster r-cnn的基础上加了一个可以预测目标掩膜（mask）的分支。只比Faster r-cnn慢一点，5fps。很容易拓展到其他任务如：关键点检测。18年在coco的目标检测、实例分割、人体关键点检测都取得了最优成绩。 1、 引言 ...
Mask R-CNN论文简述
w风的季节-博客
11-28 388
Mask R-CNN 论文翻译摘要1. Introduction2. 主要贡献 摘要 提出了一个概念上简单，灵活和通用的目标分割框架。我们的方法有效地检测图像中的目标，同时为每个实例生成高质量的分割掩码。称为Mask R-CNN的方法通过添加一个与现有目标检测框回归并行的，用于预测目标掩码的分支来扩展Faster R-CNN。Mask R-CNN训练简单，相对于Faster R-CNN，只需增加一个较小的开销，运行速度可达5 FPS。此外，Mask R-CNN很容易推广到其他任务，例如，允许我们在同一个框架
Mask R-CNN文章总结
qq_41875080的博客
05-09 456
最好的文章，对网络细节介绍到很清楚！值得反复阅读 宏观的介绍网络框架 谷歌排行第一的，高视角分析 ROIAlign如何进行双线性插值： 如图所示，为了得到为了得到固定大小（7X7）的feature map，ROIAlign技术并没有使用量化操作，即我们不想引入量化误差，比如665 / 32 = 20.78，我们就用20.78，不用什么20来替代它，比如20.78 / 7 =...
mask rcnn论文
03-13
### 关于 Mask R-CNN 的学术论文 Mask R-CNN 是一种用于实例分割的任务框架，在计算机视觉领域具有重要影响。该模型由何恺明等人提出，基于 Faster R-CNN 进行改进，增加了分支来预测目标的像素级掩码[^1]。 #### 论文介绍 - **原始论文** 题目为《Mask R-CNN》，发表于 ICCV 2017 年会议。这篇论文介绍了如何通过引入额外的分支来进行逐像素分类，从而实现精确的目标检测和分割任务。此方法不仅保持了高精度的位置定位能力，还能够高效处理多类别对象的同时存在情况。 ```python import torch.nn as nn class MaskRCNN(nn.Module): def __init__(self, backbone, rpn, roi_heads, mask_head): super(MaskRCNN, self).__init__() self.backbone = backbone self.rpn = rpn self.roi_heads = roi_heads self.mask_head = mask_head def forward(self, images, targets=None): features = self.backbone(images.tensors) proposals, proposal_losses = self.rpn(images, features, targets) detections, detector_losses = self.roi_heads(features, proposals, targets) if self.training: losses = {} losses.update(detector_losses) losses.update(proposal_losses) return losses masks = self.mask_head(detections['boxes'], features) detections['masks'] = masks return detections ``` - **后续发展** 自 Mask R-CNN 发布以来，许多研究者在此基础上进行了扩展与优化工作。例如，《Contextual Priming and Feedback for Faster R-CNN》探讨了上下文引导机制对于提升区域提议网络性能的影响；而另一篇有关激光雷达三维物体探测器的研究则展示了深度主动学习策略可以有效提高训练效率[^2]。 #### 学术资源链接 为了更深入理解 Mask R-CNN 及其变体的发展历程和技术细节，建议查阅以下资料： - 原始论文：<https://arxiv.org/abs/1703.06870> - GitHub 实现项目：<https://github.com/facebookresearch/Detectron>
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值