[深度学习从入门到女装]YOLACT Real-time Instance Segmentation

最新推荐文章于 2025-03-11 01:00:00 发布
原创 最新推荐文章于 2025-03-11 01:00:00 发布 · 293 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文介绍YOLACT论文，一种结合one-stage目标检测与实例分割的实时算法。旨在通过预测mask系数和原型mask，融合one-stage的速度与two-stage的准确性，实现高效实例分割。

论文地址：YOLACT Real-time Instance Segmentation

 

这是一片实例分割的论文，该论文的目的是对原始的one-stage目标检测的框架加上mask的branch实现实例分割，就像Mask R-CNN对Faster R-CNN一样，只不过maskRCNN是two-stage的

 

整体网络框架如上图所示：

文章中也提到说

one-stage的方法使用fc进行bounding box和class 的回归，无法保持spatial coherent（相邻像素可能输入同一个instance）

而two-stage的方法使用了localization step（RoI Align）可以解决输入尺寸不一致的问题，能得到统一尺寸的feature map，就可以使用conv进行bounding box和class的回归，能够保持spatial coherent，但是呢，这种方法会造成冗余，对feature map进行重复计算，速度也比较慢

文章就想要融合以上两种，使用fc来预测mask coefficent，使用conv来预测prototype masks

因此整体框架分为两个branch

一个branch用于预测prototypes，也就相当于对原图进行语义分割，但是一个区别是对prototype不使用语义分割的loss

文中提到说，prototype的输出是unbounded是重要的，能够突出最大的激活点和背景区别，因此他们使用了relu激活函数或者不用激活函数（这里我的理解是，对于语义分割，最后的输出都是用softmax归一化到0-1，但是这里不需要使用softmax，这点还有待查证，需要看源码）

另一个branch用于预测mask coefficient，也就是用于预测类别的置信度和bounding box的回归，与其他检测网络不同的地方在于，这个branch又加了用于预测mask cofficient的结构，用于和prototype一一对应，使用tanh激活函数

 

mask assembly

 

 

深度学习论文: CenterMask : Real-Time Anchor-Free Instance Segmentation及其PyTorch实现
mingo_敏
06-01 1763
CenterMask : Real-Time Anchor-Free Instance Segmentation PDF:https://arxiv.org/pdf/1911.06667.pdf PyTorch: https://github.com/shanglianlm0525/PyTorch-Networks 1 概述 在FOCS检测的基础上通过添加一个SAG-Mask（spatial attention-guided mask）分支来实现像Mask RCNN中类似的分割效果。 2 CenterMas
【进展综述】单阶段实例分割（Single Shot Instance Segmentation）
sanshibayuan的博客
01-03 8494
兵荒马乱的秋招结束了，浑浑噩噩地过了几个月，荒废了不少日子，现在打算重新捡起论文来读。这段时间，单阶段实例分割（Single Shot Instance Segmentation）的文章开始大量出现。这篇文章记录一下单阶段实例分割的方法，并简单介绍一下自己印象深刻的几篇论文。
one-stage-anchor-based-retinanet进阶-YOLACT Real-time Instance Segmentation
lovep1的博客
02-19 237
paper地址：https://arxiv.org/pdf/1904.02689.pdf github地址：https://github.com/dbolya/yolact 使用retinanet作为基础的目标检测器，增加mask分支，将实例分割分成两个并行的子任务。精度是比mask rcnn要差的，但是速度相当快，后续也提出了yolact++作为补充，但根据我的实际测试来看，使用效果不是太好。 我对实例分割没有那么的熟悉，因此yolact更多的是进行与检测方面的对比和思想的理解。 ...
Yolact学习笔记 --- 《YOLACT Real-time Instance Segmentation》
梦坠凡尘
05-07 907
论文：https://arxiv.org/abs/1904.02689 代码：https://github.com/dbolya/yolact Yolact是2019年出的第一个达到实时的开创性实例分割网络，年底也更新到了Yolact++。去年只是用它跑了自己的数据，但一直没有深入学习这个模型，这次好好学习下。 ...
单阶段实例分割之一 EmbedMask: Embedding Coupling for One-stage Instance Segmentation
gaow14的博客
05-03 2066
最近一两年，单阶段实例分割的工作出现的越来越多，有基于检测的（先检测后预测mask，检测框架有anchor-based也有anchor-free的），也有直接从图片像素到mask的。而自从anchor-free的单阶段目标检测框架FCOS出来以后，基于该目标检测框架的单阶段实例分割也出现了好几个不错的工作。单阶段目标检测和实例分割的框架一般会显得简洁有效，对其他视觉问题也会有一定的启发意义。自己后...
【EmbedMask】《EmbedMask：Embedding Coupling for One-stage Instance Segmentation》
bryant_meng
09-23 1150
arXiv-2019 code：https://github.com/yinghdb/EmbedMask 在 FCOS 基础上的改进 文章目录1 Background and Motivation2 Related Work3 Advantages / Contributions4 Method4.1 Embedding Definition3.2 Learnable Margin3.3 Smooth Loss3.4 Training3.5 Inference5 Experiments5.1 Dat..
【实例分割】YOLACT++：Better Real-time Instance Segmentation论文详解
向上生长的程序媛的博客
09-15 635
首先来看下YOLACT++区别于YOLACT的地方是什么？在backbonde网络中加入可变形卷积（deformable convolutions）；使用更好的anchor尺度和比例对prediction head进行优化；加入新的mask re-scoring支路。看下原版的YOLACT的网络结构。
论文阅读笔记(三)——YOLACT Real-time Instance Segmentation
InkBamboo920的博客
08-04 1357
我们提出了一个简单的，全卷积的实时实例分割模型，在MS COCO上实现29.8 mAP，在单个Titan Xp上评估33.5 fps，这比任何以前的竞争方法都要快得多。而且，我们只在一个GPU上训练就得到了这个结果。为此，我们将实例分割分为两个并行子任务:(1)生成一组原型掩码和(2)预测每个实例的掩码系数。然后我们通过线性组合原型和掩码系数来产生实例掩码。我们发现，因为这个过程不依赖于重新池化，这种方法可以产生非常高质量的掩码，并免费展示时间稳定性。...
YOLACT++ Better Real-time Instance Segmentation 论文笔记
Tianchao龙虾
04-20 481
YOLACT++ Better Real-time Instance Segmentation 论文链接： https://arxiv.org/abs/1912.06218 一、 Problem Statement 提升YOLACT性能的方法。可以从下图看到提升了不少。 二、 Direction backbone加入了deformable convolutions 更好地anchor scales 和 aspect ratios 添加多了一个fast mask re-scoring 分支 三、 Met
CenterMask CVPR2020 Real-Time Anchor-Free Instance Segmentation
菜鸟中的菜中菜的博客
11-21 2657
CenterMask CVPR2020 参考1 参考2 高效率、高mAP的实例分割模型 创新： 添加空间注意引导掩模(SAG-Mask)分支到anchor-free目标检测器(FCOS），SAG-Mask分支在每个检测到的盒子上预测一个分割掩码，这有助于关注信息像素和抑制噪声 新的backbone：VoVNetV2，有残差连接，使用eSE处理通道信息丢失问题。 设计了CenterMask and CenterMask-Lite，分别针对大、小模型。 结构 1.backbone+FPN提取特征 2.FC
Deep Snake for Real-Time Instance Segmentation：基于Deep Snake的实例实时分割
阿波
04-23 3533
本文针对自己所看的 Deep Snake 做一个总结和存档，也方便其他同学学习 —— 阿波，2020.4.23 论文原文：Deep Snake for Real-Time Instance Segmentation 代码地址： snake 本篇文章工作有以下贡献： •提出了一种基于学习的snake算法用于实时实例分割，该算法将初始轮廓变形到对象边界，并引入循环卷积来进行轮廓特征学习。 •提出了一个...
YOLACT++: Better Real-time Instance Segmentation——更好的实时实例分割
Together_CZ的博客
03-11 1485
YOLACT++: Better Real-time Instance Segmentation——更好的实时实例分割
[EmbedMask]EmbedMask: Embedding Coupling for One-stage Instance Segmentation
Ah丶Weii
01-22 429
文章目录1. Motivation2. Contribution3. EmbedMask3.1 Overview3.2 Embedding Definition3.3 Learnable Margin3.4 Smooth Loss3.5 Training3.6 Inference 1. Motivation two-stage 通过ROIPool方法，会造成图像信息的丢失（低分辨率以及ROIPool/Align）的对齐操作。同时它的参数量较多比较复杂。 现有(2019)的one-stage实例分割.
YOLACT：Real-time Instance Segmentation总结
qq_32678471的博客
04-23 1922
YOLACT：Real-time Instance Segmentation 这篇文章精度不高（mAP=29.8%），但是速度上有了较大的提升（33fps），能够达到实时级别。文中提到训练时只用了一个GPU，titanx。我下载源码用4块1080Ti卡跑的时候，采用COCO2014数据集，默认max_iter为400000次，batchsize为8，显示需要34天。看了下代码，感觉很复杂，数据预处...
[深度学习从入门到女装]EmbedMask: Embedding Coupling for One-stage Instance Segmentation
炼丹师
12-19 1491
论文地址：EmbedMask: Embedding Coupling for One-stage Instance Segmentation 一篇使用embedding方法进行one-stage instance segmentation的论文 文章中提到，目前进行instance segmentation的方法有两类： 第一类：two-stage方法，把instance seg...
实例分割之YOLACT（You Only Look At CoefficienTs）
年轻即出发，
05-04 4744
论文：YOLACT: Real-time Instance Segmentation Github: https://github.com/dbolya/yolact 论文提出了基于one-stage的目标检+分割的框架YOLACT。类似于YOLO，主打的亮点在于实时性。精度弱于mask-rcnn，但是速度却比mask-rcnn快很多。在MS-COCO上达到了29.8的map和33...
551515151和vu给vuvuvuvu
12-20
595959595959595959hi吧hi哔哔哔iubi
论文复现一种基于价格弹性矩阵的居民峰谷分时电价激励策略需求响应（Matlab代码实现）
12-20
【论文复现】一种基于价格弹性矩阵的居民峰谷分时电价激励策略【需求响应】（Matlab代码实现）内容概要：本文介绍了一种基于价格弹性矩阵的居民峰谷分时电价激励策略，旨在通过需求响应机制优化电力系统的负荷分布。该研究利用Matlab进行代码实现，构建了居民用电行为与电价变动之间的价格弹性模型，通过分析不同时间段电价调整对用户用电习惯的影响，设计合理的峰谷电价方案，引导用户错峰用电，从而实现电网负荷的削峰填谷，提升电力系统运行效率与稳定性。文中详细阐述了价格弹性矩阵的构建方法、优化目标函数的设计以及求解算法的实现过程，并通过仿真验证了所提策略的有效性。; 适合人群：具备一定电力系统基础知识和Matlab编程能力，从事需求响应、电价机制研究或智能电网优化等相关领域的科研人员及研究生。; 使用场景及目标：①研究居民用电行为对电价变化的响应特性；②设计并仿真基于价格弹性矩阵的峰谷分时电价激励策略；③实现需求响应下的电力负荷优化调度；④为电力公司制定科学合理的电价政策提供理论支持和技术工具。; 阅读建议：建议读者结合提供的Matlab代码进行实践操作，深入理解价格弹性建模与优化求解过程，同时可参考文中方法拓展至其他需求响应场景，如工业用户、商业楼宇等，进一步提升研究的广度与深度。
Android WebView 部分手机显示不全
最新发布
12-20
源码地址： https://pan.quark.cn/s/e46927981684 AdvancedWebView Enhanced WebView component for Android that works as intended out of the box Requirements * Android 2.2+ Installation * Add this library to your project * Declare the Gradle repository in your root * Declare the Gradle dependency in your app module's Usage AndroidManifest.xml Layout (XML) Activity (Java) Without Fragments With Fragments () Note: If you're using the class from the support library (), please refer to the next section (see below) instead of this one. With Fragments from the support library () * Use the code for normal usage as shown above * Change to * Add the following code to the parent in order to forward the results from the to the appropriate instance ProGu...
deep snake for real-time instance segmentation
06-28
### 回答1： Deep Snake是一种用于实时实例分割的算法。它基于深度学习技术，通过对图像中的每个像素进行分类，实现对目标物体的精确分割。Deep Snake算法具有高效性和准确性，可以应用于许多领域，如自动驾驶、医学影像分析等。 ### 回答2： DeepSnake是一个用于实时实例分割的新型神经网络模型。与传统的基于卷积神经网络（CNN）的实例分割方法不同，DeepSnake使用自适应的密集曲线组件，来更好地关注目标对象的形状特征，从而实现更精确的分割结果。 DeepSnake的设计基于一种称为“变形回归”的曲线回归方法。该方法使用两个CNN分支，来分别处理图像区域和曲线参数，然后将它们组合起来进行端到端的训练。其中，图像分支出自用于目标检测任务的ResNet，而曲线分支则采用了U-Net结构。 DeepSnake的优点在于可以克服目标形状多样性和大小变化等问题，能够适应各种不同的数据集，并且在计算效率上具有很高的实时性。与一些竞争的实例分割算法相比，DeepSnake在准确率和速度上都有不错的表现。在PASCAL VOC 2012和COCO 2017数据集上测试，DeepSnake的性能超过了相同条件下的大多数算法，同时具有更低的计算成本。 总之，DeepSnake为实时实例分割任务提供了一种创新的方法，可以应用于许多领域，如智能监控、自动驾驶和机器人导航等。 ### 回答3： Deep Snake是一种用于实时实例分割的新型神经网络架构，由来自华盛顿大学的研究团队开发。与目前主流的神经网络架构Mask R-CNN相比，Deep Snake的优势在于能够更加准确地分割物体，同时在速度和计算资源消耗方面表现更好。 具体来说，Deep Snake使用了一种名为“蛇形控制器”的新型机制来协调具有各自目标的多个神经元。这种机制使得网络在提取图像中物体的轮廓信息时更加准确。Deep Snake还采用了特殊的分组卷积层，用于在不同的尺度上提取特征，以更好地分割物体。 此外，Deep Snake还可以使用相对较少的内存和计算资源，快速运行实例分割任务。研究者使用COCO数据集进行了实验，结果表明Deep Snake在准确率和速度方面都优于Mask R-CNN。在单个Nvidia 1080Ti GPU上，Deep Snake可以实现每秒5.7帧的实时实例分割，准确率高达33.6%。 总的来说，Deep Snake是一种非常有潜力的神经网络架构，可用于实时实例分割。它不仅可以提高准确性，还可以节省计算资源和实现更快的运行速度。未来，深度学习的研究者将继续探索和改进这种架构，以满足不断发展的实时实例分割需求。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值