语义分割(实例分割)网络系列4——Mask R-CNN

最新推荐文章于 2025-04-08 08:49:40 发布
最新推荐文章于 2025-04-08 08:49:40 发布
阅读量1k 收藏 8
点赞数
分类专栏： # 语义分割
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/xiaotiig/article/details/117926269
版权

Mask R-CNN

1介绍

论文：
https://arxiv.org/pdf/1703.06870.pdf

Mask RCNN是何凯明大神2018年的经典之作，主要解决的是实例分割，语义分割 (semantic segmentation) 指的是把一张图像的每一个像素进行分类, 比如把图像中所有的人分为一类. 而实例分割 (instance segmentation) 是指按照对象 (object) 进行分类, 那么不同的人就要分为不同的类别.
在这里插入图片描述

Mask R-CNN是何凯明的力作，将Object Detection与Semantic Segmentation合在了一起做。Mask R-CNN是一个很多state-of-the-art算法的合成体，并非常巧妙的设计了这些模块的合成接口。

理解Mask R-CNN之前必须理解Faster R-CNN，它们的检测过程是一样。
Mask R-CNN只是在Faster R-CNN的基础上增加了语义分割

1.1 Faster R-CNN

Faster R-CNN：我们首先简要回顾一下Faster R-CNN检测器。Faster R-CNN由两个阶段组成。

称为区域提议网络（RPN）的第一阶段提出候选目标边界框。
第二阶段，本质上是Fast R-CNN，使用RoIPool从每个候选框中提取特征，并进行分类和边界回归。两个阶段使用的特征可以共享，以便更快的推理。
对于FasterR-CNN来说，对于每个目标对象，它有两个输出，一个是类标签（classlabel），一个是边界框的偏移值（bounding-box offset）

1.2 结构

https://zhuanlan.zhihu.com/p/37998710
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

2代码

github源码地址：https://github.com/bubbliiiing/mask-rcnn-keras

3 总结

4 参考资料

全网最好的讲解
https://www.bilibili.com/video/BV1CE411g78W

https://zhuanlan.zhihu.com/p/37998710

https://blog.youkuaiyun.com/qq_37392244/article/details/88844681

【深度学习】实例分割网络
热情、奔放、快乐编程！
02-04 728
这里输入为H×W×E的特征F，其中E是输入特征的通道数；输出为卷积核S×S×D，其中S是划分的网格数目，D是卷积核的通道数。对应关系如下：1×1×E的卷积核，则D=E，3×3×E的卷积核，则D=9E，以此类推。SOLO v2中的mask branch 被分解为mask kernel branch和mask feature branch，分别对应卷积核的学习和特征的学习。从而由分类分支确定那个实例是有物体的，从而从掩膜分支找出对应的掩膜图。分类分支：S×S×C。掩膜分支：H×W×S×S。即每个实例的掩膜图。
实例分割总结 Instance Segmentation Summary（Center Mask、Mask-RCNN、PANNet、Deep Mask和Sharp Mask）
qq_40784418的博客
07-19 3334
实例分割总结 Instance Segmentation Summary实例分割常用网络总结Mask-RCNN网络PANnetDeep Mask和Sharp MaskCenterMask二阶段（two-stage)实例分割方法一阶段(one-stage)实例分割方法 实例分割常用网络总结 实例分割网络经常接触到有： Mask-RCNN：基于Faster-RCNN的改进，加了一个语义分割的分支FCN网络，是自顶而下的思想（先检测到包围框实现了分类，再对每一个包围框进行语义分割。检测结果中每一个目标的标签是不同
语义分割—1 Mask RCNN
qq_35732321的博客
03-04 660
Mask RCNN(1)主干网络(2) 预测(3) 训练(4) 评价 (1)主干网络 (2) 预测 (3) 训练 (4) 评价
计算机视觉算法实战——实例分割算法深度解析
最新发布
m0_65481401的博客
04-08 1843
实例分割(Instance Segmentation)是计算机视觉领域中的一个重要任务，它结合了目标检测和语义分割的特点，不仅要识别图像中每个像素的类别(如语义分割)，还要区分同一类别中的不同实例(如目标检测)。这一技术在自动驾驶、医学影像分析、机器人视觉、增强现实等领域有着广泛的应用前景。与语义分割(Semantic Segmentation)相比，实例分割需要区分同类物体的不同个体；与目标检测(Object Detection)相比，实例分割提供了像素级的精确位置信息而非边界框。
语义分割Mask R-CNN
weixin_52185313的博客
05-08 1783
语义分割Mask R-CNN–潘登同学的深度学习笔记 文章目录语义分割Mask R-CNN--潘登同学的深度学习笔记上采样双线性插值转置卷积代码实现将双线性插值与转置卷积结合ROI AlignRoI PoolingRoIWrap PoolingROIAlign PoolingFPN思想图像金字塔(Featurized image pyramid)高斯金字塔拉普拉斯金字塔SSD特征金字塔FPN 结合 Fast R-CNN 或 Faster R-CNN语义分割FCNUNetMask R-CNN网络结构将mask
实例分割——Mask R-CNN、YOLOV8、RTMDET、DeepLab四种实例分割算法比对
热门推荐
知来者逆的博客
05-09 1万+
与目标检测不同，实例分割不仅识别对象的存在，还为每个检测到的对象生成一个像素级别的掩码，这允许更精细的分析和编辑。从上面这个例子可以看出，检测任务定位了对象的包围框，语义分割分割出了人这个类别，不过把所有的人一起分割了，实例分割区分出了每个人，并分别进行了分割。为了解决RoI Pooling中的量化问题，Mask R-CNN引入了RoIAlign层，它通过双线性插值精确地计算输入特征在RoI上的值，而不进行量化，从而更好地保持空间对齐，这对于生成高质量的分割掩码至关重要。
PyTorch深度学习实战（25）——从零开始实现Mask R-CNN实例分割
盼小辉丶的博客
11-01 7328
Mask R-CNN 是一种在目标检测任务中引入了语义分割的强大框架，通过在 Faster R-CNN 基础上进行扩展，添加了额外的分支网络，不仅可以准确地检测对象的位置和类别，还可以生成每个实例的精确像素级别的语义分割掩码。其模块化的设计可以轻松地应用于不同的任务和数据集，并且可以通过添加更多的分支进行功能扩展，如实例关键点检测等。
跟着问题学3.5——MASK-RCNN详解及代码实战
weixin_42251091的博客
01-05 1380
这被称为是一种耦合关系，是不利于最终的结果的。同样的道理，我们通过class、box分支知道了候选框的类别是cat，那么我们将这个候选框在原图对应的GT（原图对应的GT是单通道的喔，目标区域为1，背景区域为0）上进行裁剪并将裁剪后图片缩放到28×28大小得到GT Mask，此时计算GT Mask和Mask分支的损失即可。如图所示，图中的虚线为特征图，黑色实线为建议区域，黑点为传统池化操作选择的采样点，在本文中，不对这些点进行量化操作，而是使用特征图中的四个边界点使用双线性插值的方法代表这些采样点。
Mask R-CNN模型训练和数据转换加载工具包
08-17
Mask R-CNN是一种深度学习模型，由Facebook AI Research团队在2017年提出，是Faster R-CNN的扩展，用于实例分割和目标检测任务。实例分割是指识别图像中每个对象并为它们提供精确的像素级掩模，而不仅仅是边界框。...
卷积神经网络——实例分割之Mask R-CNN论文翻译
itlilyer的博客
09-29 4860
论文链接 https://arxiv.org/abs/1703.06870 相关论文翻译链接 R-CNN：https://blog.youkuaiyun.com/itlilyer/article/details/107190083 Fast R-CNN：https://blog.youkuaiyun.com/itlilyer/article/details/107764472 Faster R-CNN：https://blog.youkuaiyun.com/itlilyer/article/details/108049850 Mask R-C
Mask R-CNN
01-06
本文提出了一个概念上简单且灵活通用的目标分割框架——Mask R-CNN Mask R-CNN能有效地检测图像中的目标，同时能为每个实例生成高质量的分割掩码 Mask R-CNN训练简单，相对于Faster R-CNN，只需增加一个较小的开销，...
maskrcnn 用于细胞图像分割代码
04-22
这是maskrcnn keras代码，针对细胞语义分割项目进行了专门的改造，代码中有相应的示例，当这里的代码去掉mask的生成过程，可以当做faster rcnn使用，这是进行细胞语义分割的完整项目，包含训练、测试、记录整个流程
深度学习---实例分割网络yolact
datian1234的博客
07-26 1606
yolact是第一个在COCO 数据集上做到**实时的实例分割模型**（大于30FPS），其将问题划分成两个平行的分支，一个分支由特征金字塔的**P3**层，经过Protonet预测**mask**，另一个分支通过**P3-P7特征层**预测**类别、包围框以及mask的系数coefficient**。另外还提出了比NMS更快的方法**Fast NMS**。
实例分割-- instance-sentive fully convolutonal networks
qq_22751305的博客
01-11 329
Instance-sensitive Fully Convolutional Networks 最近在研究实例分割，很多都是先检测出instance的bounding box，然后再对box内的像素分类，以此确定前景和背景。但是，有些实例并不能用box来表示，比如车道线。而这篇文章是先分割，再确定box，值得研究。 传统的FCN网络一般生成一个score map，并不能区分实例。而...
Mask-RCNN网络——实例分割
weixin_43227526的博客
04-16 6921
Mask-RCNN网络——实例分割
[SS]语义分割_Mask R-CNN
iazzz的博客
03-05 1326
Mask R-CNN是一种用于物体检测和语义分割任务的深度学习模型。它是在Faster R-CNN的基础上进行改进的，通过增加一个分割分支，实现了物体检测和像素级别的语义分割。Mask R-CNN通过在RPN（Region Proposal Network）的基础上，增加了一个全连接层来生成每个候选框的分类概率和边界框回归信息。同时，它还为每个候选框添加了一个全卷积网络来生成候选框的mask分割。在训练过程中，Mask R-CNN除了进行物体分类和边界框回归的损失计算，还加入了语义分割的损失计算。
Mask RCNN网络源码解读（Ⅰ） --- 语义分割前言与转置卷积
qq_41694024的博客
01-08 1389
语义分割前言与转置卷积
准确度判断 语义分割_Mask R-CNN（目标检测语义分割）测试
weixin_33019827的博客
01-17 637
Mask R-CNN(目标检测语义分割)测试Mask R-CNN(目标检测，语义分割)测试Kaiming He的大作Mask R-CNN(https://arxiv.org/pdf/1703.06870.pdf)已经放出来一段时间了，最近才有空进行代码学习和编译。图像目标检测是图像识别的核心任务之一，之前就对这以方面进行总结和测试(http://blog.youkuaiyun.com/sparkexpert/...
Mask R-CNN 和 Faster R-CNN 主要区别是什么？
03-20
### Mask R-CNN 和 Faster R-CNN 的主要差异 Faster R-CNN 是一种广泛应用于目标检测的任务框架，它能够高效地识别图像中的物体并返回它们的边界框位置以及对应的类别标签。该模型通过区域提议网络 (Region Proposal Network, RPN) 来生成候选区域，并利用 Fast R-CNN 进一步完成分类和回归操作[^2]。 相比之下，Mask R-CNN 不仅继承了 Faster R-CNN 的核心能力——即定位和分类的功能，还额外引入了一个分支来实现像素级别的实例分割任务。这意味着除了输出每个对象的位置及其所属类别的信息外，Mask R-CNN 能够进一步生成针对每一个被检测到的对象的具体掩码数据，从而达到更加精细的操作效果[^1]。 为了支持这种更高精度的需求，在架构设计方面，Mask R-CNN 对传统的 RoIPool 层进行了改进，采用了名为 **RoIAlign** 的新方法。这种方法通过对齐原始特征图上的浮点坐标值而不是采用量化处理的方式，有效减少了因采样过程带来的几何失真现象，进而显著提升了最终得到的结果质量。不过值得注意的是，由于新增加了这一系列复杂的运算流程，因此相较于基础版本而言整体运行效率有所下降并且消耗更多的计算资源。 总结来看，两者的主要差别体现在以下几个维度： - 功能扩展：Faster R-CNN 集中于基本的目标探测；而 Mask R-CNN 则在此之上增添了详细的语义描述能力。 - 技术革新：为适应新的应用场景需求，后者改良了一些关键技术组件比如替换掉了原有的池化机制换成更为精准的新算法形式。 - 性能权衡：随着功能增强的同时不可避免带来了更高的硬件依赖程度与时间成本开销等问题需要考虑进去。 ```python # 示例代码展示如何加载预训练好的 Mask R-CNN 模型进行预测 import torch from torchvision import models model = models.detection.maskrcnn_resnet50_fpn(pretrained=True) model.eval() x = [torch.rand(3, 300, 400), torch.rand(3, 500, 400)] predictions = model(x) print(predictions) ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

晓码bigdata

如果文章给您带来帮助，感谢打赏

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值