Mask R-CNN

最新推荐文章于 2022-04-24 22:28:13 发布
最新推荐文章于 2022-04-24 22:28:13 发布
阅读量601 收藏 2
点赞数
分类专栏： 深度学习
本文介绍了Mask R-CNN整体框架，它在Faster R-CNN基础上增加FCN用于生成mask。分析了RoIPooling的局限性，存在两次量化导致的“不匹配问题”。为解决此问题提出RoIAlign，取消量化用双线性插值。还提到将mask和分类操作解耦，损失函数由分类、位置和mask损失构成。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

1.整体框架

Mask R-CNN在Faster R-CNN的CNN特征提取层后增加了一个全卷积网络（Fully Convolutional Network, FCN）用于生成mask(分割结果)。

作者在文中提到，backbone选用ResNet-FPN得到的性能最佳。

2. RoIAlign

2.1 RoIPooling局限性分析

在两极目标检测框架中，ROIPooling的作用是根据预选框的位置坐标在特征图中对应的区域池化为固定尺寸的特征图，以便后续的分类和包围框回归的操作。由于预选框的位置由模型回归得到，一般得到的值为浮点数，而池化后的特征图要求尺寸固定，因此此处也存在不整除的问题。综上，RoIPooling操作中总共包括两次量化（quantization）：

1）将候选边框量化为整数的坐标值；

2）将量化后的区域平均分割成k*k个单元（bin），对每个bin的边界坐标进行量化。

经过上面两个量化过程后，此时得到的候选框已经与最开始回归得到的框有了一定的偏差，这个偏差会影响检测或者分割的准确度。在原论文中，作者将它称为“不匹配问题（misalignment）”。

misalignment举例说明：

è¿éåå¾çæè¿°

如上图所示，这是一个faster-rcnn的检测框架。输入为800*800图像，图片上有一个665*665的包围框（一只狗）。图像在经过主干网络（VGG16）提取特征后，特征图缩放步长（stride）为32，因此图像和包围框的边长都变为原来的1/32。原图边长变为800/32=25，包围框边长变为665/32=20.78。经过RoIPooling量化后，特征图中包围框的边长为20。接下来对特征中的框池化为7*7大小，每个bin的边长大小为20/7≈2.86，经过RoIPooling再次量化后，bin的边长大小为2。经过RoIPooling中的两次量化后，候选区域出现了较为明显的偏差（如下图绿色部分）。该特征图上0.1个像素对应原图为3.2像素，特征图上的0.8像素对应原图接近30个像素的差别，这一差别不容小觑。

è¿éåå¾çæè¿°

2.2 RoIAlign

为了解决2.1中提到的RoIPooling中存在的misalignment问题，作者提出了RoIAlign这一改进方法（如上图所示）。RoIAlign的思路为：取消量化操作，使用双线性插值的方法得到浮点坐标对应的图像数值，从而将整个特征聚集过程转化为一个连续的操作（如下图）。

具体操作流程：

1）遍历每个候选区域，保持浮点数边界不做量化；

2）将候选区域分割为k*k个bin，每个bin的边界不做量化；

3）在每个bin中采用双线性插值的方法计算四个坐标值，然后进行池化操作。

3.decouple

作者将mask和分类两个操作进行了解耦（decouple），即每一类别物体分别预测mask。

4.损失函数

损失函数由分类损失（同Faster R-CNN）、位置损失（同Faster R-CNN）、mask损失三部分构成。

其中mask为k*m*m维向量，其中k为类别数量，m*m是mask的最终的长和宽。计算每个像素的sigmoid结果，最终mask的损失为二维交叉熵损失的平均值（average binary cross-entropy loss）。

 

【参考】

1. https://blog.youkuaiyun.com/u012897374/article/details/80768199

2. https://zhuanlan.zhihu.com/p/40538057

 

maskRCNN
qq745021926的博客
03-12 556
http://blog.youkuaiyun.com/wei_guo_xd/article/details/73729581 http://blog.youkuaiyun.com/aimer_chen/article/details/78528000 basemap install http://blog.youkuaiyun.com/aimer_chen/article/details/78528000 http://...
Mask R-CNN 模型详解
zuoanhuahai的博客
06-19 303
Mask R-CNN(Mask Region-based Convolutional Neural Network) 是 Facebook AI Research（FAIR）在2017年提出的一种实例分割（Instance Segmentation ）模型，它是在Faster R-CNN的基础上扩展而来，不仅能检测目标的位置（Bounding Box）和类别（Class），还能精确地预测每个目标的像素级掩码（Mask）。输出一个k*m*m的矩阵（k是类别数，m是掩码分辨率，通常是28*28）
『算法学习』Mask-R-CNN
weixin_34034670的博客
10-07 537
一、Mask-RCNN流程 Mask R-CNN是一个实例分割（Instance segmentation）算法，通过增加不同的分支，可以完成目标分类、目标检测、语义分割、实例分割、人体姿势识别等多种任务，灵活而强大。 Mask R-CNN进行目标检测与实例分割 Mask R-CNN进行人体姿态识别 其抽象架构如下： 首先，输入一幅你想处理的图片，然后进行对应的预处理操作...
Mask R-CNN模型训练和数据转换加载工具包
08-17
**Mask R-CNN模型概述** Mask R-CNN是一种深度学习模型，由Facebook AI Research团队在2017年提出，是Faster R-CNN的扩展，用于实例分割和目标检测任务。实例分割是指识别图像中每个对象并为它们提供精确的像素级...
Mask R-CNN预训练权重
05-26
Mask R-CNN数据标注和模型训练 教程：https://yidamyth.blog.youkuaiyun.com/article/details/124851003 使用Mask R-CNN标注自定义数据集，训练自己的模型。 本资源是教程中所需要加载的预训练模型，提供一个便捷的下载...
Mask R-CNN 原理文档
04-25
**Mask R-CNN 概述** Mask R-CNN 是一种深度学习模型，专门用于实例分割和目标检测任务。由Kaiming He、Georgia Gkioxari、Pedro Dollar和Roie Fihrer在2017年提出，该模型在 Faster R-CNN 的基础上进行了扩展，...
基于 Mask R-CNN 及 Yolov4 的电力巡检中绝缘子缺陷研究
03-26
本文主要探讨了一种基于深度学习的电力巡检方法，利用 Mask R-CNN 和 Yolov4 技术对输电线路中的绝缘子缺陷进行识别和定位。 Mask R-CNN 是一种用于实例分割的深度学习模型，它可以同时实现对象检测和像素级分类，...
mask r-cnn
09-21
Mask RCNN 是基于Kaiming 之前的工作 FPN (Feature Pyramid Network) 很形象地说就是用FPN产生的检测结果, 后面加了一个分割的网络. 文章中用到了 Top-Down + Bottom-Up 最近很流行的多层网络, 因为最开始Faster-RCNN只是在最后一层上面检测, 很容易丢掉小目标物体, 并且对细节遮挡也很不敏感. 最近的趋势就是结合多层 特征, 答主孔涛就很早发现了这个insight, 做出了HyperNet 并中了CVPR roal!!!作者：Oh233 链接：https://www.zhihu.com/question/57403701/answer/153060743 来源：知乎 著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。 Mask R-CNN 这个结果确实很强，但要同时注意它主要是加上了许多（都是很有用的）engineering techniques 。 比如说 anchor 从 12 增加到了15个，图像 size 从600变成了800，还有ROI batch size变到了512，从FPN那篇paper来看，这些 better practice 会有对性能十分明显的提升 (table 3 baseline: AP=26.3 -> 31.6)。而我们组16年的coco分割竞赛冠军 ，Fully Convolutional Instance-aware Semantic Segmentation (FCIS)的代码昨晚终于开源了。限于计算资源，我们并没有加上这些改进。这些改进应该是比较 general 的，也会适用于 FCIS。欢迎大家试用一波。FCIS 提供了一种简单高效的框架去解决 instance segmentation 的问题。跟之前 COCO 2015 的冠军 MNC 相比，它的主要不同在于 mask estimation 和 detection 是共同做的，而不是先估计 mask 再做 detection。在 FCIS 中 detection/mask estimation 之间通过 inside/outside score map 互相影响，利用了这两个紧密相连 task 之间的共性。现在 release 版本基于支持多卡训练的MXNet，msracver/FCIS。实际上大概今年一月份我们就已经写出了外面可以使用的Caffe版本，但是当时官方 Caffe 只支持单卡做复杂任务的训练，对于COCO这种大规模数据集来说用单卡训练的话一下子几周的时间就过去了。考虑到大家用起来会非常蛋疼，最后还是决定没有release这个版本。
mask-rcnn
weixin_30337251的博客
01-26 140
2018年了，mask-rcnn的代码已经放出来了。可以在github上查到 #-*-coding:utf-8-*- ''' author:dezan zhao date :2018-01-26 paper :Mask R-CNN note :just for study,not comercial ''' ''' 传承： R-CNN ->Fast...
Mask RCNN
kReeves的博客
01-21 416
Introduction Instance Segmentation（实例分割）不仅要正确的找到图像中的objects，还要对其精确的分割。所以Instance Segmentation可以看做object dection和semantic segmentation的结合。 Mask RCNN是Faster RCNN的扩展，对于Faster RCNN的每个Proposal Box都要使用FCN进行语义分割。 引入了RoI Align代替Faster RCNN中的RoI Pooling。因为RoI Pool.
Mask R-CNN讲解
热门推荐
weixin_43702653的博客
04-24 3万+
Mask R-CNN最全讲解
计算机视觉（十二）：Mask R-CNN
HHH_ANS的博客
03-18 2429
1 - 引言 Mask R-CNN是在Faster R-CNN架构为基础上改进的一种目标检测架构，并且能够有效的完成高质量的语义分割
faster R-CNN 和 Mask R-CNN 区别
最新发布
08-15
<think>首先，用户的问题是：“我想了解faster R-CNN和Mask R-CNN之间的区别 请问faster R-CNN 和 Mask R-CNN 的区别对比”。根据系统级指令，我需要： - 所有行内数学表达式使用$...$格式。 - 独立公式使用$$...$$格式并单独成段。 - LaTeX语法正确。 - 使用中文回答。 - 生成相关问题。 - 在回答中引用的段落末尾自然地添加引用标识，例如[^1]。 - 回答结构清晰，帮助用户逐步解决问题，保证回答真实可靠。 参考站内引用提供了相关信息： - 引用[1]: Faster R-CNN用于检测对象并输出边界框和类别，而Mask R-CNN增加了实例分割功能，提供像素级掩码，使用RoIAlign层提高精度但增加计算复杂度。[^1] - 引用[2]: Faster R-CNN用于对象检测，Mask R-CNN增加实例分割，Keypoint R-CNN扩展进行关键点检测。[^2] - 引用[3]: R-CNN系列发展，Faster R-CNN将区域建议生成融入网络提高效率，Mask R-CNN增加分支进行像素级分割。[^3] - 引用[4]: Mask R-CNN在Faster R-CNN基础上增加mask prediction分支，误差函数包括分类、box回归和mask误差。[^4] - 引用[5]: Mask R-CNN扩展Faster R-CNN，增加对象掩码预测分支，训练简单，运行速度5fps，可泛化到其他任务。[^5] 我的回答需要基于这些引用，确保真实可靠。结构要清晰，逐步解释区别。 **回答结构：** 1. **引言**：简要介绍Faster R-CNN和Mask R-CNN的背景和关系。 2. **主要区别对比**：分点列出核心区别，如功能、架构、性能等。 - 功能：Faster R-CNN专注于目标检测（边界框和类别），Mask R-CNN增加了实例分割（像素级掩码）。 - 架构：Mask R-CNN在Faster R-CNN基础上添加了额外的分支（mask分支）。 - 技术改进：如RoIAlign vs. RoIPool。 - 性能：精度提高，但计算复杂度增加。 3. **详细解释**：逐步深入解释每个区别。 4. **引用标识**：在引用信息后添加[^n]。 5. **相关问题生成**：在最后添加“相关问题”部分。 **生成相关问题：** 根据指令，需要生成相关问题。例如： 1. Mask R-CNN中的RoIAlign是如何工作的？ 2. Faster R-CNN和Mask R-CNN在训练过程中有什么不同？ 3. Mask R-CNN可以应用于哪些实际场景？ **数学表达式：** 如果提到公式，确保使用正确格式。例如，在解释误差函数时，引用[4]提到误差函数包括分类、box回归和mask误差。可以用独立公式表示。 引用[4]说：最终的误差函数为$L = L_{cls} + L_{box} + L_{mask}$，其中$L_{mask}$是平均二值交叉熵误差。 所以，在回答中，如果提到，使用$$...$$格式。 **完整回答大纲：** - **开头**：直接回答问题，概述区别。 - **主体**： - 解释Faster R-CNN的核心功能。 - 解释Mask R-CNN的扩展。 - 对比关键点：功能差异、架构变化、技术改进（RoIAlign）、性能影响。 - 引用相关部分。 - **结尾**：总结区别。 - **相关问题**：列出3-5个相关问题。</think>### Faster R-CNN 与 Mask R-CNN 的区别对比 Faster R-CNN 和 Mask R-CNN 都是计算机视觉领域中目标检测的代表性模型，它们在架构和功能上存在显著差异。Faster R-CNN 是双阶段目标检测的基础框架，主要用于检测图像中的对象并输出其边界框（bounding box）和类别标签。而 Mask R-CNN 是在 Faster R-CNN 基础上扩展的模型，增加了实例分割（instance segmentation）功能，能够提供对象的像素级掩码（mask），从而实现更精细的对象识别。下面我将逐步解释它们的主要区别，确保回答基于可靠的技术细节（参考了提供的引用内容）。 #### 1. **核心功能差异** - **Faster R-CNN**：专注于目标检测任务。它通过两个阶段工作：首先生成候选区域（Region Proposal），然后对这些区域进行分类和边界框回归。输出包括每个对象的类别（如“猫”或“狗”）和边界框坐标（如 $(x, y, w, h)$）。例如，在检测图像中的物体时，它只定位大致位置，而不涉及对象内部细节[^3]。 - **Mask R-CNN**：在目标检测基础上，增加了实例分割功能。这意味着它不仅输出边界框和类别，还为每个对象生成一个二值掩码（binary mask），精确描绘对象的形状和轮廓（例如，区分猫的耳朵和尾巴）。这种扩展允许模型进行像素级分割，适用于需要精细识别的场景，如医学图像分析或自动驾驶[^1][^5]。 #### 2. **架构改进** - **Faster R-CNN 的架构**：核心组件包括区域建议网络（Region Proposal Network, RPN）和检测头（detection head）。RPN 负责快速生成候选区域，避免了传统方法（如 Selective Search）的耗时问题。检测头则使用全连接层进行边界框回归和分类。整个模型高效但功能单一[^3][^2]。 - **Mask R-CNN 的架构**：在 Faster R-CNN 的基础上，添加了一个额外的并行分支（称为 mask branch）。这个分支是一个小型全卷积网络（FCN），负责预测每个候选区域的掩码。具体来说： - 输入是候选区域的特征图。 - 输出是 $K \times m \times m$ 的掩码矩阵，其中 $K$ 是类别数，$m$ 是掩码分辨率（通常为 $14 \times 14$ 或 $28 \times 28$）。 - 每个像素通过 sigmoid 激活函数处理，并计算平均二值交叉熵误差（average binary cross-entropy loss）作为 mask 损失。误差函数整合为： $$ L = L_{cls} + L_{box} + L_{mask} $$ 其中 $L_{cls}$ 是分类损失，$L_{box}$ 是边界框回归损失（与 Faster R-CNN 相同），$L_{mask}$ 是新增的掩码损失[^4][^5]。 - 关键技术创新是 **RoIAlign 层**：Faster R-CNN 使用 RoIPool（Region of Interest Pooling）来对齐特征，但它在量化时引入误差。Mask R-CNN 改用 RoIAlign，通过双线性插值实现更精确的特征对齐，提高了分割精度（尤其在对象边缘处），但也增加了计算复杂度[^1][^5]。 #### 3. **性能与计算效率** - **精度**：Mask R-CNN 在实例分割任务上显著优于 Faster R-CNN，因为它能提供像素级输出（例如，在 COCO 数据集上，Mask R-CNN 的掩码精度比基准高约 10-15%）。然而，Faster R-CNN 在纯目标检测任务中效率更高，因为它不需要处理掩码分支[^1][^5]。 - **计算复杂度**：Mask R-CNN 的运行速度较慢（约 5 FPS），而 Faster R-CNN 可达 10 FPS 或更高。这是因为 mask 分支增加了额外的计算负担（如卷积操作和 RoIAlign 的插值计算）。在资源受限场景中，Faster R-CNN 更适用[^5]。 - **泛化能力**：Mask R-CNN 的设计更灵活，易于扩展到其他任务，如关键点检测（Keypoint R-CNN）或姿态估计，而 Faster R-CNN 主要用于标准检测[^2][^5]。 #### 4. **训练与应用场景** - **训练过程**：两者都使用端到端训练，但 Mask R-CNN 引入了多任务损失（multi-task loss）。训练时，对于每个候选区域，mask 分支只关注真实类别 $k$ 的掩码，避免类别间冲突（即只计算第 $k$ 个掩码的损失）。这使得训练更稳定，但数据需求更高（需要掩码标注）[^4]。 - **典型应用**： - **Faster R-CNN**：适用于实时目标检测，如视频监控或物体跟踪，其中只需位置和类别信息。 - **Mask R-CNN**：适用于需要精细分割的场景，如自动驾驶（精确识别道路物体）、医疗图像（分割肿瘤区域）或增强现实（对象交互）[^1][^3]。 ### 总结 Faster R-CNN 和 Mask R-CNN 的主要区别在于：Faster R-CNN 是高效的目标检测框架，输出边界框和类别；而 Mask R-CNN 是其扩展，通过添加 mask 分支和 RoIAlign 层，实现了像素级实例分割，提高了精度但牺牲了部分速度。选择哪个模型取决于具体需求：如果只需对象定位，Faster R-CNN 更优；如果需要详细形状信息，Mask R-CNN 是更好的选择[^1][^3][^5]。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值