Mask Scoring R-CNN[详解]

最新推荐文章于 2024-08-12 08:38:53 发布
最新推荐文章于 2024-08-12 08:38:53 发布
阅读量1.1k 收藏 1
点赞数
CC 4.0 BY-SA版权
分类专栏： 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_35608277/article/details/88412286
针对实例分割中Mask质量分数与分类置信度相关性弱的问题，提出MaskIoU网络，直接学习预测Mask与真值Mask之间的IoU，提高Mask评分准确性。网络设计上，结合RoIAlign特征与预测Mask，通过卷积与全连接层预测MaskIoU，测试阶段与分类分数相乘校准Mask分数。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

git code：
https://github.com/zjhuang22/maskscoring_rcnn
论文翻译：
https://blog.youkuaiyun.com/weixin_37993251/article/details/88248361

1 发现问题（动机）

实例分割框架都采用实例分类的置信度作为Mask质量分数。

然而，被量化为mask实例与其地面实况之间的IoU的Mask质量通常与分类分数相关性不强。
在这里插入图片描述

2 解决思路

改进mask 评分策略：
受AP指标的启发，实例分割利用预测Mask与真值Mask之间的像素级相交过并(IoU)来描述实例分割质量，提出了一种直接学习IoU的网络。
这个IoU表示为MaskIoU。
在测试阶段得到了预测的Mask分数，通过将预测的Mask分数与分类分数相乘来重新评估Mask分数。因此，Mask评分同时考虑语义类别和实例Mask的完整性。

3 具体设计

网络设计

在这里插入图片描述
将RoIAlign层的feature与预测的mask连接起来作为MaskIoU head的输入；

使用max pooling让预测掩码与RoI feature 具有相同空间大小；

MaskIOU包含4个卷积层和3个全连接层。

训练

使用RPN proposals作为训练样本，训练样本要求proposal box与匹配的ground truth的IOU大于0.5。
为了产生回归目标，我们得到目标类的预测掩码并将掩码二值化(使用0.5的阈值)。

对二值化mask和对应的ground truth计算 MaskIoU

使用L2 loss进行MaskIOU回归。

测试阶段

  • MaskIoU仅用来校准从RCNN生成的分类分数，将预测的MaskIoU和分类分数相乘得到校准后的掩模分数
  • 取其前k个分数框，生成多类mask，来预测MaskIoU

4 实验验证

对不同的框架具有鲁棒性，包括更快的R-CNN/FPN/DCN+FPN
不影响边框检测性能;实际上，它略微提高了边界框检测性能。
ref
https://www.cnblogs.com/wemo/p/10505970.html
https://blog.youkuaiyun.com/m0_38007695/article/details/88256702
https://blog.youkuaiyun.com/weixin_37993251/article/details/88248361（翻译）

【六.图像分割技术突破】【2.实例分割：Mask R-CNN/YOLACT】
商务合作|问题讨论|交流学习 请联系作者微信，加微信请务必注明来意，博客主页有联系方式
03-16 154
朋友们，今天咱们要聊的这个技术可不得了！它能像孙悟空的火眼金睛一样，把图片里每个物体都揪出来，还能精确到像素级别给它们画上"身份证"。这就是图像分割领域的大杀器——实例分割。今天咱们重点扒一扒两大扛把子：Mask R-CNN和YOLACT，保证让你连它们祖宗十八代都摸得门儿清！
实例分割------Yolact-minimal结构详解
m0_47405013的博客
10-24 1365
yoloct-minimal
Mask Scoring RCNN
fh713nc的博客
09-28 454
Mask Scoring RCNN 做为CVPR2019的口头汇报论文， Mask Scoring RCNN 以更为合理的Mask打分机制成功击败了实例分割的经典网络 Mask RCNN Mask Scoring RCNN 是MaskRCNN两年后的改良版本，其创新点在于，增加了一个Mask IOU分支，通过计算mask分支得到的预测mask与ground truth对应的mask之间的像素级别的...
Mask Scoring R-CNN
Acmer_future_victor的博客
04-15 2731
Mask Scoring R-CNN CVPR2019会议论文 主要任务不是实例分割，而是评估获得的实例分割的掩码的质量。文中提到，以前通常用分类类别的置信度来评估分割的掩码的质量，这是没有说服力的，从而提出了一种新的方法来评估预测的掩码质量。 Abstract 让深度网络意识到自己预测的质量是一个有趣但重要的问题。 在实例分割任务中，在大多数实例分割框架中，实例分类的置信度被用作掩码质量分数。 然而，被量化为实例掩码与其ground truth之间的 IoU 的掩码质量通常与分类分数没有很好的相关性。 在
「Computer Vision」Note on Mask Scoring R-CNN
小锋子Shawn
03-04 622
QQ Group: 428014259 Tencent E-mail：403568338@qq.com http://blog.youkuaiyun.com/dgyuanshaofeng/article/details/88138893 [1] Mask Scoring R-CNN 2019 [paper]
【实例分割】3、Mask Scoring R-CNN
呆呆的猫的博客
05-08 3186
摘要 实例分割的很多框架中，实例分类的置信度被当做mask质量的衡量指标 mask的质量常被量化为 ： 实例mask和真值的 IoU，而与分类置信度没有很大的关联 本文提出了 Mask Scoring R-CNN，包含一个网络快来学习预测实例mask的好坏 本文网络将 实例特征 和 对应的预测mask 综合起来，来回归 mask 的 IoU Mask scoring 策略 将校正Mask 质量和M......
【深度学习】语义分割：论文阅读（NeurIPS 2021）MaskFormer: per-pixel classification is not all you need
zhe470719的博客
06-01 6356
目录详情知识补充语义分割实例分割动机Related WorksPer-pixel classification formulationMask classification formulationMaskFormerPixel-level moduleTransformer moduleSegmentation module掩膜分类推理语义推理 详情 论文：Per-Pixel Classification is Not All You Need for Semantic Segmentation / Mas
【入门篇】：掌握自然语言处理，机器学习基础详解
自然语言处理（NLP）和机器学习是人工智能领域内两个紧密关联的子领域。NLP致力于构建能够让计算机理解、解释和生成人类语言的系统。它在处理如语音识别、文本摘要、情感分析、机器翻译等任务中起着核心作用。机器...
【深度学习】（四）目标检测—
2401_84164503的博客
04-28 884
上一章介绍了图像分类，这一章来学习一下目标检测上篇。简单来说，需要得到图像中感兴趣目标的类别信息和位置信息，相比于分类问题，难度有所提升，对图像的描述更加具体。在计算机视觉众多的技术领域中，目标检测（Object Detection）也是一项非常基础的任务，图像分割、物体追踪、关键点检测等通常都要依赖于目标检测。
Python-MaskScoringRCNN论文的实现代码
08-11
"Mask Scoring R-CNN"论文的实现代码
Mask Scoring RCNN 解读
sinat_37011812的博客
09-08 574
Introduction 相比于Mask RCNN 多了一条head计算MaskIOU mask_head/loss.py rle_for_fullarea 计算的是ground truth mask的面积 rle_for_box_area 计算的是proposal cropped mask的面积 mask_ratio 算的是我predict的proposal 里面...
CVPR2019-实例分割Mask Scoring R-CNN
跟随技术的脚步-linolzhang的专栏
05-24 3345
今年的Oral，在coco数据集表现超过了Mask RCNN，来自地平线的华科实习生。 论文：Mask Scoring R-CNN【paper】【github】 1. 提出背景 Mask RCNN 提出以来，一直是作为经典霸屏，但这里面一直存在一个严重的问题，那就是其score机制： 由于沿用了Faster RCNN 的 class和box，对应class是类别sco...
mask scoring rcnn训练自己的数据集
ljh_mm的博客
12-12 381
近期使用mask scoring RCNN了训练自己的数据集，做一个记录，主要参考一下几篇博客： https://blog.youkuaiyun.com/qq_39172959/article/details/105709077#commentBox https://blog.youkuaiyun.com/XX_123_1_RJ/article/details/102733175#commentBox https://blog.youkuaiyun.com/linolzhang/article/details/97833354#comment
读Mask Scoring RCNN 随笔
Cindy_lxy的博客
12-22 709
今天读了2019年CVPR oral Mask SCoring R-CNN,有一些感想。 https://arxiv.org/abs/1903.00241 2019-12-22 mask scoring rcnn相比mask rcnn改动不多，主要是在mask branch上加入了一个回归预测MaskIoU的小结构，也就是下图中的蓝色结构。输出是一个类别个数（coco数据集的话就是80）长度...
Mask Scoring Rcnn论文解读《Mask Scoring R-CNN》
Amberrr的博客
03-31 1147
参考链接： 论文链接《Mask Scoring R-CNN》 Github 地址 Mask Scoring RCNN 在大多数实例分割框架中，实例分类的置信度被用作MASK质量分数。 MASK质量：量化为实例MASK与其Groundtruth之间的IoU。 真正评估mask质量的指标应该是预测的mask和GroundTruth的mask之间的IoU，而不是以分类分数作为mask的置信度。...
探索更精确的实例分割：Mask Scoring R-CNN
最新发布
gitblog_00254的博客
08-12 499
探索更精确的实例分割：Mask Scoring R-CNN Mask Scoring R-CNN（MS R-CNN）是一种创新的深度学习模型，由Zhaojin Huang, Lichao Huang, Yongchao Gong, Chang Huang, 和Xinggang Wang共同研发。这项成果在2019年计算机视觉与模式识别会议(CVPR 2019)上以口头报告的形式发表，并基于Face...
[深度学习] Mask Scoring R-CNN论文阅读
小黑_BUPT的博客
10-02 956
Mask Scoring R-CNN Mask评分R-CNN CVPR 2019 oral paper 这篇论文中，作者提出了一种对Mask评分的新的方法，用于解决Mask RCNN中没有针对Mask进行评分从而影响实例分割的准确性这一问题。在Mask R-CNN模型中，在实例分割任务里，虽然输出结果是一个Mask，但打分却是和边界框目标检测（bounding-box object detec...
MaskScoring R-CNN：深度网络预测实例掩码质量
"本文主要探讨了深度网络在实例分割任务中的掩模质量预测问题，提出了一个名为Mask Scoring R-CNN的新方法，该方法通过学习预测实例掩模的质量来改进深度网络的性能。传统的实例分割框架常使用分类的置信度作为掩模...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值